수화는 화자가 의도적으로 표현하는 손의 움직임, 손의 모양 등의 수지 신호와 비의도적으로 수행되는 얼굴의 표정, 몸통 제스처 등의 비수지 신호로 구성된다. 본 논문에서는 수지 신호와 비수지 신호를 결합하여 수화를 인식할 수 있는 계층적 구조로 구성된 방법을 제안한다. 첫 번째 단계에서는 계층적 Conditional Random Field (CRF)를 이용하여 수지 신호 후보 영역을 검출한다. 두 번째 단계에서는 BoostMap 임베딩을 이용하여 첫 번째 단계에서 검출된 수지 신호의 손 모양을 인식한다. 마지막 세 번째 단계에서는 Support Vector Machine (SVM)을 이용하여 비수지 신호 분석을 위한 얼굴 인식을 수행한다. 마지막 단계는 첫 번째 및 두 번째 단계에서 인식된 신호에 모호성이 존재할 때만 수행된다. 제안된 방법은 청각장애인이 수행한 수화 문장에서 84%의 인식률을 보였다.
The sign language consists of two types of signals: manual signals (MSs) such as signs and fingerspellings and non-manual signals (NMSs) such as facial expressions and body gestures. This paper proposes a new method for recognizing manual signals and facial expressions as non-manual signals. The proposed method involves the following three steps: First, a hierarchical conditional random field is used to detect candidate segments of manual signals. Second, the BoostMap embedding method is used to verify hand shapes of segmented signs and to recognize fingerspellings. Finally, the support vector machine is used to recognize facial expressions as non-manual signals. This final step is taken when there is some ambiguity in the previous two steps. The experimental results indicate that the proposed method can accurately recognize the sign language at an 84% rate based on utterance data.
