기존에 널려 쓰이는 3차원 얼굴 복원 방식인 Structure from motion(SfM)은 정면 및 좌우 측면 영상들이 입력할 때, 좌우 얼굴 특정 점들이 검출되어 우수한 성능을 보인다. 그러나 감시 카메라 환경과 같이 한 쪽 측면 얼굴 영상들이 입력될 경우, 보이는 한 쪽 얼굴 특정 점들만이 입력되므로, 가려진 부분의 얼굴이 제대로 복원되지 않는 문제가 있다. 이러한 문제를 해결하기 위해, 본 논문은 사람의 얼굴이 좌우 대칭이라는 제한 조건을 이용하여 대칭이 되는 얼굴 특정 정들을 생성하였으며, 이렇게 생성된 얼굴 특정 점들과 입력된 얼굴 특정 점들을 결합하여 사용함으로써 기존 SfM 기반 3차원 얼굴 복원 방식의 성능을 향상시켰다. 제안한 3차원 얼굴 복원 방법을 정량적으로 평가하기 위해 3차원 스캐너를 이용해 3차원 얼굴을 취득하였고, 이를 복원한 3차원 얼굴과 비교한 결과 좌우 대칭 특정 점들을 함께 사용하는 제안한 3차원 복원 방식은 한 쪽 측면 특정 점들만을 사용하는 기존 방식에 비해 우수한 성능을 보였다.
A widely used 3D face reconstruction method, structure from motion(SfM), shows robust performance when frontal, left, and right face images are used. However, this method cannot reconstruct a self-occluded facial part correctly when only one side view face images are used because only partial facial feature points can be used in this case. In order to solve the problem, the proposed method exploit a constrain that is bilateral symmetry of human faces in order to generate bilateral facial feature points and use both input facial feature points and generated facial feature points to reconstruct a 3D face. For quantitative evaluation of the proposed method, 3D faces were obtained from a 3D face scanner and compared with the reconstructed 3D faces. The experimental results show that the proposed 3D face reconstruction method based on both facial feature points outperforms the previous 3D face reconstruction method based on only partial facial feature points.
