깊이 카메라는 Time-of-Flight (TOF) 기술을 이용하여 장면 내 물체들의 거리 정보를 실시간으로 측정하며, 측정된 값은 깊이 영상으로 출력되어 양안식 혹은 다시점 카메라와 함께 장면의 고화질 깊이 맵을 제작하는 데 사용된다. 그러나 깊이 카메라 자체가 가지는 기술적 한계로 인하여 영상에 잡음과 왜곡이 포함되어 있기 때문에 이를 효과적으로 제거할 수 있는 기술이 요구되며, 처리 된 깊이 카메라 영상은 다양한 방법으로 색상 영상과 융합되어 장면의 깊이 정보를 생성할 수 있다. 본 논문에서는 이와 같이 다시 점 카메라와 깊이 카메라를 함께 사용하여 고화질의 깊이 정보를 획득할 수 있는 혼합형 카메라 방식의 원리와 깊이 영상 처리 및 깊이 생성을 위한 기술 동향을 설명한다.
The depth camera measures range information of the scene in real time using Time-of-Flight (TOF) technology. Measured depth data is then regularized and provided as a depth image. This depth image is utilized with the stereo or multi-view image to generate high-resolution depth map of the scene. However, it is required to correct noise and distortion of TOF depth image due to the technical limitation of the TOF depth camera. The corrected depth image is combined with the color image in various methods, and then we obtain the high-resolution depth of the scene. In this paper, we introduce the principal and various techniques of sensor fusion for high-quality depth generation that uses multiple camera with depth cameras.
