영상 회의 시스템에서는 현실감을 높이기 위하여 대화 상대방과 시선을 맞추는 eye contact을 만들어 주는 것이 중요하다. 이를 위하여 영상 기반 방법과 모델 기반 방법 등의 시점합성기법이 연구되고 있다. 전자는 계산이 간단하나 부정확하고, 후자는 잡음에 강하고 정확한 영상을 만들어 내지만 시간이 많이 걸리는 단점이 있다. 본 논문에서는 얼굴 영상을 타원으로 근사화시키고 이를 3차원 공간에서 타원체로 모델링하여 임의의 가상 카메라의 위치에서 영상을 합성하는 방법을 제안하였다. 여러 가지 실험을 통하여 제안한 방법이 계산량이 적으면서도 성능이 우수함을 입증하였다.
To establish eye contact in video teleconferencing, it is necessary to synthesize a front view image by viewpoint interpolation. We can find the viewing direction of a user, and interpolate an image seen from that viewpoint, which will result in a face image observed from the front. There are two categories of previous research: image based method and model based method. The former is simple to calculate, however, it shows limited performance for complex objects. And the latter is robust to noise while it is computationally expensive. We propose to approximate face images as ellipses and match them to build an ellipsoid and then synthesize a new image from a given virtual camera position. We show that it is simple and robust from various experiments.
