본 논문에서는 사용자가 하나의 화면을 가진 장치에서 원하는 여러 비디오 콘텐츠를 동시에 볼 수 있도록 하는 새로운 실시간 H.264/AVC 압축 영역에서의 영상 합성 알고리즘을 제안한다. 본 논문에서 제안하는 알고리즘은 사용자의 요청에 따른 다수 비트스트림들을 압축 영역에서의 하나의 비트열으로 합성한다. 즉, 압축 영역에 있는 다수 영상들의 경계면에 있는 매크로블록들에 대해서 화면 내 예측 모드와 화면 간 예측 MVD를 다시 계산하고 변환 오차 계수 테이블을 수정 하여 경계 매크로블록 확정하는 방법, 영상의 나머지 부분에서 매크로블록 데이터를 단순히 복사하는 방법으로 이뤄진다. 실험 결과, 제안 알고리즘은 480p 크기의 4개 영상을 1초에 103장 이상 합성할 수 있어, 실시간 적용의 가능함을 보여주고 있다.
In this paper, a novel, real-time video stitching algorithm in an H.264/AVC compressed domain is proposed. This enables viewers to watch multiple video contents using a single device. The basic concept of this paper is that the server is asked to combine multiple streams into one bit-stream based in a compressed domain. In other words, this paper presents a new compressed domain combiner that works in boundary macroblocks of input videos with re-calculating intra prediction mode, intra prediction MVD, a re-allocation of the coefficient table, and border extension methods. The rest of the macroblocks of the input video data are achieved simply by copying them. Simulation experiments have demonstrated the possibility and effectiveness of the proposed algorithm by showing that it is able to generate more than 103 frames per second, stitching four 480p-sized images into each frame.
