본 논문에서는 사람의 표정이 아닌 애니메이션 캐릭터의 표정을 주색상과 특징점을 효과적으로 분석하여 인식하는 방법을 제안한다. 제안된 방법에서는 먼저 캐릭터의 특성에 맞게 간략화한 메쉬모델을 정의하고 캐릭터 얼굴과 얼굴의 구성요소를 주색상을 이용하여 검출한 후 각 구성요소의 에지를 활용하여 표정인식을 위한 특징점을 추출한다. 그런 다음, 각 특징점의 위치와 모양 정보를 신경망 학습을 통해 해당 AU로 분류하고, 제안된 표정 AU 명세서를 이용해 최종적으로 표정을 인식한다. 실험에서는 제안된 애니메이션 캐릭터의 표정인식 방법이 무표정을 포함하여 기쁨, 슬픔, 놀람, 화남, 공포의 6가지 표정을 비교적 신뢰성 있게 인식함을 애니메이션 영상을 이용한 실험을 통해 보여준다.
This paper suggests a method to recognize facial expressions of animation characters by means of dominant colors and feature points. The proposed method defines a simplified mesh model adequate for the animation character and detects its face and facial components by using dominant colors. It also extracts edge-based feature points for each facial component. It then classifies the feature points into corresponding AUs(action units) through neural network, and finally recognizes character facial expressions with the suggested AU specification. Experimental results show that the suggested method can recognize facial expressions of animation characters reliably.
