최근 스테레오 정합 기술은 정합하고자 하는 픽셀을 포함한 국부적인(local) 영상의 정합 비용과 시차의 변화 비용을 누적하는 전역적(global)인 방법을 많이 사용하고 있다. 특히 전역적 스테레오 정합에서도 비용누적 (cost accumulation)의 방향을 일반적인 수평방향이 아닌 다수의 방향을 사용하는 연구가 늘고 있다. 본 논문에서는 기존의 스테레오 정합 기술을 다중 방향성 정합 기술로 확장하는 방법을 제안한다. 픽셀의 국부적인 정합 비용은 단순한 NCC (Normalized Cross Correlation)를 사용하였고 전역적 정합 기술의 하나인 정합선 최적화(Scan-line Optimization) 방법을 다중 방향으로 확장하는 기술을 제안하였다. 우선 정합선 최적화를 다중 방향으로 실행한 후 이들 결과를 이용하여 신뢰도가 높은 시차영상 (disparity image)을 획득한다. 반복적인 다중 방향 정합선 최적화 시행 후, 시차영상에서 남은 공백은 홀 복원 방법으로 계산한다. 시차가 구해진 픽셀에 대해서는 신뢰도 점수를 매긴 다음 이 점수를 확산하여 신뢰도 점수 테이블에서 가장 높은 값을 가지는 시차값으로 홀을 복원하였다. 제안하는 기술을 미들버리(Middlebury)의 스테레오 영상을 사용하여 오차를 분석하였다. 기존의 전역적 방법과 제안 기술을 이용하여 시차영상을 계산하고 그 오차를 비교하였다.
Stereo matching techniques are categorized in two major schemes, local and global matching techniques. In global matching schemes, several investigations are introduced, where cost accumulation is performed in multiple matching lines. In this paper, we introduce a new multi-line stereo matching techniques which expands a conventional single-line matching scheme to multiple one. Matching cost is based on simple normalized cross correlation. We expand the scan-line optimization technique to a multi-line scan-line optimization technique. The proposed technique first generates a reliability image, which is iteratively updated based on the previous reliability measure. After some number of iterations, the reliability image is completed by a hole-filling algorithm. The hole-filling algorithm introduces a disparity score table which records the disparity score of the current pixel. The disparity of an empty pixel is determined by comparing the scores of the neighboring pixels. The proposed technique is tested using the Middlebury and CMU stereo images. The error analysis shows that the proposed matching technique yields better performance than using conventional global matching algorithm.
