본 논문에서는 3D 입체 영상시스템에서 신뢰도를 활용한 듀얼모드 실시간 동기에러 검출 및 보상방법을 제안한다. 3D 입체영상시스템의 동기오차 보상은 좌-우 영상시퀀스에서 동기오차를 검출하고, 검출된 동기오차만큼 보상하는 것이다. 3D 입체 영상시스템의 좌-우 동기 오차를 검출하는 알고리즘의 결과는 3D 입체 영상 콘텐츠에 따라서 그 동기에러 검출 결과의 정확도가 달라지는 문제점이 있다. 3D 입체 영상시스템의 동기 오차 검출을 위해 좌-우 영상의 페어 프레임 검출이 모든 3D 입체 콘텐츠의 영상에서 용이하지 않기 때문에 콘텐츠의 종류에 따라서 동기 에러 검출 알고리즘을 선별적으로 적용하는 방법이 필요하고, 동기 에러 검출의 결과를 신뢰할 수 있는 방법도 필요하다. 본 논문에서 활용하고자 하는 듀얼 모드 동기 에러 검출 알고리즘은 선행 연구[1]에서 새롭게 제안한 시간적 스패시오그램(temporal spatiogram) 방법과 기존의 텍스쳐 매칭(texture matching) 방법을 활용하였다. 동기에러 검출 결과에 대한 신뢰도를 측정하기 위해서 컨텐츠의 동적 특성(dynamics)과 구분성(distinction)을 새롭게 정의하였다. 제안된 듀얼 모드 동기 에러 검출 방법과 그 검출 결과에 대한 신뢰도 측정 방법은 다양한 3D 콘텐츠 영상들을 이용하여 실험하였고, 실제 3DTV 시스템에서의 동기 에러 검출 및 보상 실험 시스템에 실시간 구현하여 그 효용성을 입증하였다.
In this paper, a real-time dual-mode temporal synchronization and compensation method based on a new reliability measure in stereoscopic video is proposed. The goal of temporal alignment is to detect the temporal asynchrony and recover synchronization of the two video streams. The accuracy of the temporal synchronization algorithm depends on the 3DTV contents. In order to compensate the temporal synchronization error, it is necessary to judge whether the result of the temporal synchronization is reliable or not. Based on our recently developed temporal synchronization method[1], we define a new reliability measure for the result of the temporal synchronization method. Furthermore, we developed a dual-mode temporal synchronization method, which uses a usual texture matching method and the temporal spatiogram method[1]. The new reliability measure is based on two distinctive features, a dynamic feature for scene change and a matching distinction feature. Various experimental results show the effectiveness of the proposed method. The proposed algorithms are evaluated and verified through an experimental system implemented for 3DTV.
