본 논문에서는 계산 효율적이고 노이즈에 강건한 비디오 객체 분할 알고리즘을 제안한다. 움직임 분할과 색 분할을 효율적으로 결합한 시공간 분할 방법의 구현을 위해 SOM 기반의 계층적 군집 방법을 도입하여 특징 벡터들의 군집 관점에서 분할 과정을 해석함으로써 기존의 객체 분할 방법에서 정확한 분할 결과를 얻기 위해서 요구되어지는 많은 연산량과 노이즈에 의한 시스템의 성능 저하 문제를 최소화한다. 움직임 분할 과정에서는 움직임 추정 에러에 의한 영향을 최소화하기 위해서 MRF 기반의 MAP 추정 방법을 이용하여 계산한 움직임 벡터의 신뢰도를 이용한다. 또한 움직임 분할의 성능 향상을 위해서 움직임 신뢰도 히스토그램을 이용한 노이즈 제거 과정을 거칠 뿐만 아니라 자동으로 장면 내에 존재하는 객체의 수를 구하기 위해서 군집 유효성 지표를 이용한다. 객체 추적의 성능 향상을 위해 교차 투영 기법을 이용하며, 분할 결과의 시간적 일관성 유지를 위해 동적 메모리를 이용한다. 다양한 특성을 가지는 비디오 시퀀스들을 이용한 실험을 통해 제안하는 방법이 계산 효율적이고 노이즈에 강건하게 비디오 객체 분할을 수행함은 물론 기존의 구현 방법에 비해 정확한 분할 결과를 얻을 수 있음을 확인하였다.
This paper proposes a robust and computationally efficient algorithm for automatic video object segmentation. For implementing the spatio-temporal segmentation, which aims for efficient combination of the motion segmentation and the color segmentation, an SOM-based hierarchical clustering method in which the segmentation process is regarded as clustering of feature vectors is employed. As results, problems of high computational complexity which required for obtaining exact segmentation results in conventional video object segmentation methods, and the performance degradation due to noise are significantly reduced. A measure of motion vector reliability which employs MRF-based MAP estimation scheme has been introduced to minimize the influence from the motion estimation error. In addition, a noise elimination scheme based on the motion reliability histogram and a clustering validity index for automatically identifying the number of objects in the scene have been applied. A cross projection method for effective object tracking and a dynamic memory to maintain temporal coherency have been introduced as well. A set of experiments has been conducted over several video sequences to evaluate the proposed algorithm, and the efficiency in terms of computational complexity, robustness from noise, and higher segmentation accuracy of the proposed algorithm have been proved.
