結合雙 PTZ 攝影機與 Kinect 之校正與三維重建

三維掃描重建是一種獲取物體或環境之幾何資料的技術；近十年來，由於立體視覺演算法的進步與攝影機的普及，利用雙攝影機配合立體視覺演算法做為重建三維資料點的研究逐漸受到重視。 使用動態攝影機可擴大取像範圍，並可調整焦距提高局部解析度，解決固定式攝影機量測範圍和局部解析度受限的缺點。我們在先前研究中開發雙 PTZ 攝影機的校正演算法，以獲得攝影機在轉動時的外部參數和變焦時的內部參數。但市售的 Sony D-70 PTZ攝影機的解析度只有 640×480，且有嚴重的齒隙效應，導致迴轉角度之再現性與轉動方向有關，無法勝任精密的量測，因此，本計畫將另行組裝解析度達 1920×1080 且以高精度伺服馬達驅動的雙 PTZ 攝影機系統以提昇其性能。 另一方面，立體視覺演算法在估計三維座標時，不僅需要內外部參數，且需在兩個擷取的影像中分別獲取各目標點的對應投影位置。在兩部攝影機的視角差異較大或目標特徵不足的情況下，容易造成對應點搜尋不準確或錯誤的狀況，是亟待解決的問題。 微軟公司配合 Xbox 360 體感遊戲而推出的 Kinect 感應器是一個低價但可快速提供深度資訊的裝置。雖然 Kinect 的解析度不高，無法適用於需要高精度的場合，但即時提供三維立體影像資訊的能力，吸引了眾多想要將其運用於工業或科學應用的開發人員。在本計畫中，我們將整合 Kinect 與自行組裝的雙 PTZ 攝影機，利用 Kinect 輔助尋找影像中的共同可視區域，並以其誤差分佈模型提供初始的對應點搜尋範圍，提高重建三維資料的可靠性和精確性。 研究預計分成兩年進行，第一年將自行組裝具有高解析度且以高精度伺服馬達驅動的雙 PTZ 攝影機系統，針對 Kinect 感應器進行誤差量化與校正，並開發 PTZ 攝影機與Kinect 之間的對位演算法，整合兩者的座標系統。期望經過這些校正與對位之後，可以獲得 Kinect 的誤差分佈模型，並能使 Kinect 與雙 PTZ 攝影機組成的系統具有共同的座標系統。 第二年將針對對應點搜尋的問題，結合第一年的誤差分佈模型以及座標系統對位，利用 Kinect 提供 PTZ 攝影機的共同可視區域，以及在對應點比對時的初始位置與搜尋範圍，完成可靠且精確的三維重建功能。   

系統編號:PB10207-1806
原計畫編號:NSC102-2221-E182-073