본 논문은 다시점에서 물체를 촬영한 영상들의 집합, 즉, 다시점 영상 집합(multi-view image set)이 주어진 경우, 적은 사용자 입력을 통해 효율적으로 영상 집합 내 관심 물체의 영역을 추출하는 기법을 제안한다. 제안하는 기법은 사용자가 직접 입력을 통해 영역화한 하나의 영상을 바탕으로, 그 영상의 배경 및 전경과 인접 영상 간의 변형을 각각 근사하여 전경 및 배경에 대응되는 인접 영상의 영역을 파악하고, 이 영역들을 통해 인접 영상을 영역화한 후, 영역화된 영상을 바탕으로 다음 인접 영상을 영역화하는 과정을 순차적으로 반복하여 영상 집합 전체를 영역화한다. 이때 전경 및 배경의 변형은 각각 특징점 기반 레지스트레이션(registration) 기법과 선형성 거리비율 보존(affine) 변형을 가정한 대응점 기반 변형행렬(homography)을 통해 근사되며, 각 대응 영역을 기반으로 하는 화소 색 분포 및 형상 정보(shape prior)를 마르코프 랜덤 장(Markov random field)에서의 에너지 최소화에 기반을 둔 영역화 기법에 적용하여 영역화를 수행한다. 제시하는 실험 결과는 제안하는 기법이 적은 사용자 입력으로 다시점 영상 집합 전체를 효과적으로 영역화한다는 것을 뒷받침한다.
This paper presents a method to segment the object of interest from a set of multi-view images with minimal user interaction. Specifically, after the user segments an initial image, we first estimate the transformations between foreground and background of the segmented image and the neighboring image, respectively. From these transformations, we obtain regions in the neighboring image that respectively correspond to the foreground and the background of the segmented image. We are then able to segment the neighboring image based on these regions, and iterate this process to segment the whole image set. Transformation of foregrounds are estimated by feature-based registration with free-form deformation, while transformation of backgrounds are estimated by homography constrained to affine transformation. Here, both are based on correspondence point pairs. Segmentation is done by estimating pixel color distributions and defining a shape prior based on the obtained foreground and background regions and applying them to a Markov random field (MRF) energy minimization framework for image segmentation. Experimental results demonstrate the effectiveness of the proposed method.
