본 논문에서는 CAVE$^{TM}$-like 시스템에서 시각 커뮤니케이션 지원을 위한 고화질 스테레오 비디오 아바타 생성 기법을 제안한다. CAVE$^{TM}$-like 시스템에서는 사용자를 둘러싸고 있는 스크린으로 투사되는 빛의 잦은 변화 때문에 비디오 아바타 생성에 필수적인 사용자 추출이 쉽지 않다. 본 연구에서는 가시광선 차단 필터를 부착한 흑백 카메라로 획득된 적외선 반사 영상을 이용함으로써 스크린 상 빛의 변화를 차단하여 강건하게 사용자를 추출할 수 있도록 하였다. 또한, 사람의 양안차 간격으로 배치한 두 대의 컬러 카메라를 사용하여 삼차원 기하 정보의 재구성 없이 고화질 비디오 아바타를 빠르게 생성하고 입체 디스플레이 하기 위한 양안용 사용자 영상을 획득하였다. 획득된 영상에서 배경을 제거하기 위하여 적외선 반사 영상으로 정의된 실루엣 마스크와의 피팅 알고리즘을 제안한다. 생성된 비디오 아바타 스테레오 영상은 가상공간 내 평면 상에 텍스처 매핑하여 프레임 순차 스테레오 방식를 이용하여 입체 디스플레이할 수 있도록 하였다. 제안된 방식은 기존의 3D 비디오 아바타보다 고화질의 결과를 빠르게 생성할 수 있으며, 2D 기반 방식에서 제공해주지 못하던 입체감을 제공해준다.
This paper suggests a method for generating high qualify stereo video avatar to support visual communication in a CAVE$^{TM}$-like system. In such a system because of frequent change of light projected onto screens around user, it is not easy to extract user silhouette robustly, which is an essential step to generate a video avatar. In this study, we use an infrared reflective image acquired by a grayscale camera with a longpass filter so that the change of visible light on a screen is blocked to extract robust user silhouette. In addition, using two color cameras positioned at a distance of a binocular disparity of human eyes, we acquire two stereo images of the user for fast generation and stereoscopic display of a high quality video avatar without 3D reconstruction. We also suggest a fitting algorithm of a silhouette mask on an infrared reflective image into an acquired color image to remove background. Generated stereo images of a video avatar are texture mapped into a plane in virtual world and can be displayed in stereoscopic using frame sequential stereo method. Suggested method have advantages that it generates high quality video avatar taster than 3D approach and it gives stereoscopic feeling to a user 2D based approach can not provide.
