본 논문에서는 압축된 MPEG2 비디오 스트림이 포함하고 있는 정보들을 이용하여 카메라의 움직임에 따른 연속적인 프래임의 변위를 추정하고 이를 기반으로 모자이크 이미지를 구성하는 방법을 제안한다. 제안된 방법에서는 MPEG의 매크로 블록 단위의 움직임 벡터로부터 근사적인 광 플로우(Optical Row)를 구성하고, 이를 이용하여 팬(Pan), 틸트(Tilt) 등의 카메라 동작에 따른 프래임의 변위량을 추출한다. 추정된 변위량은 모자이크 이미지를 구성하는데 있어서 연속되는 비디오 프래임의 기하학적인 변환을 결정한다. 본 논문의 모자이크 구성은 Nicolas가 제안한 분석적 가중치 등을 이용한 혼합(blending) 방법을 사용하였다. 실험결과 분석적인 가중치를 이용한 혼합방법은 평균이나 미디안에 의한 혼합방법보다 배경의 급격한 변화가 적으며 비디오 프래임의 정보를 충실히 활용함을 알 수 있었다. 구성된 모자이크는 압축정보를 디코딩하고 정확한 광플로우를 구성하는 방식에 비해 부호화 과정에 포함된 움직임 벡터를 이용하여 매크로 블록 단위의 근사적인 광플로우를 이용하기 때문에 계산량을 줄일 수 있다. 구성된 근사적인 모자이크는 비디오의 정보를 요약하고 있기 때문에 압축된 비디오 검색을 위한 대표 프레임 등에 사용될 수 있다.
This paper proposes a composition method of mosaic image from the compressed MPEG-2 video stream, in which the displacement between successive frames according to the camera operation is estimated directly from the information involved in the stream. In the proposed method. the approximated optical flow is constructed from motion vectors of macro blocks, and it is used to determine the parameters of the displacements according to the camera operation associated with pan and tilt. The extracted parameters are used to determine the geometric transform of successive video frames in order to construct a mosaic image. The construction of mosaic uses several blending techniques including the one proposed by Nichols in which an analytic weight is used to determine pixel values. Through the experiment, the blending technique based on analytic weights was superior to the others such as averaging and median-based techniques. It provided more smooth changes in background and made use of instantaneous frame information to construct a mosaic. The mosaic in the paper puts the emphasis on the reduction of computation because it is constructed from the motion vectors included in the compressed video without decoding and recalculating exact optical flows. The constructed mosaic can be used in the retrieval of the compressed video as the representative frame of a shot.
