다중모드 대화에서 나타나는 대용어는 언어만을 사용하는 대화에서 나타나는 것과 비교하여 매우 다른 형태와 특징을 가진다. 그것은 행위나 시각이 대용 행위로 사용될 수 있기 때문이다. 본 논문에서는 터치스크린 인터페이스를 이용한 홈쇼핑 가구점 영역의 다중모드 대화 시스템에서 나타나는 다양한 대용어의 처리 방법을 알아본다. 먼저, 화면 대용어와 참조 대용어를 정의하여 다양한 형태의 대용어를 분류한다. 그리고 각 대용어를 처리할 수 있는 두 가지의 일반적인 방법을 제안한다. 하나는 지시 행위를 수반하거나 생략한 채 발화되어 현재 화면에 나타나 있는 아이템을 참조하는 대용어를 처리하는 단순한 매핑 알고리즘이다. 다른 하나는 다중 모드 대화 시스템을 위해 워커(Walker)의 센터링 알고리즘을 확장한 이중 캐시 구조의 센터링 알고리즘이다. 확장된 센터링 알고리즘은 발화와시각 정보 그리고 화면 전환 시간을 유지할 수 있기 때문에 다중모드 대화에서 발생하는 다양한 대용어를 처리하기에 적합하다. 실험에서 제안된 시스템은 40개의 대화에서 나타난 402개의 대용어(발화당 0.54)중에서 387개를 처리하여 96.3%의 정확도를 보였다.