본 논문은 모노 카메라로 입력받은 영상에서 실시간으로 전경과 배경을 분리하여 배경을 자연스럽게 대체 하는 방법을 제안한다. 기존 연구는 대부분 단일 색상의 배경을 이용하여 전경 색에 대한 제약이 있거나, 깊이 정보를 추출을 위한 스테레오 카메라와 같은 장치에 대한 제약이 있거나, 제한적인 전경의 모양 모델을 이용하여 분리할 수 있는 전경의 모양에 대한 제약이 있었다. 이에 본 논문에서는 일반적으로 사용되는 웹캠과 같은 고정된 모노 카메라를 이용하여 실시간으로 전경 분리가 가능한 전경 분리 방법을 제안한다. 또한, 전경 분리의 성능 향상을 위하여 통영상의 시간적인 특징 정보를 이용한 시간적 전경 확률 모델을 제안한다. 또한 분리된 전경과 새로운 배경의 자연스러운 합성을 위한 알파 매트를 이용한 경계선 영역 처리방법과 간단한 후 처리 방법을 제안한다. 제안된 방법은 실제의 화상통신에서 개인의 사적인 정보가 포함된 배경을 자연스럽게 대체시켜 개인의 사생활을 보호할 수 있다.
This paper proposes a real-time foreground segmentation and background substitution method for protecting the privacy on visual communication. Previous works on this topic have some problems with the color and shape of foreground and the capture device such as stereo camera. we provide a solution which can segment the foreground in real-time using fixed mono camera. For improving the performance of a foreground extraction, we propose the Temporal Foreground Probability Model (TFPM) by modeling temporal information of a video. Also we provide an boundary processing method for natural and smooth synthesizing that using alpha matte and simple post-processing method.
