본 논문에서는 단어-구 수준의 한국어 서답형 문항을 컴퓨터 기반 채점 방식으로 처리하는 방법을 제안한다. 수천 명의 채점자가 채점 기준표를 보면서 수작업으로 채점하는 방식을 컴퓨터를 이용한 자동채점 소프트웨어로 대치하기 위하여 수동 채점을 목적으로 작성된 채점 기준표를 자동채점을 위한 XML 기반의 정답 템플릿으로 기술한다. 정답 템플릿을 기준으로 정답 일치 채점, 개념 기반 채점, 단서어 기반 오류 처리의 과정을 통해 학생 답안에 점수를 부여하는 자동채점 시스템을 설계하고 개발하였다. 자동채점 시스템의 성능을 평가하기 위해 자동 채점 결과와 실제 채점자가 부여한 점수를 비교, 분석하였다. 그 결과에 의하면 실험에 사용한 11개 문항의 평균 카파 계수는 0.83으로 실제 채점자와 비교했을 때 자동채점 시스템은 수작업 채점과 일치도가 매우 높은 성능을 나타내었다.
This paper proposes a computer-based automatic scoring method for Korean short answer questions. The purpose of this research is to replace a traditional method of human raters by scoring guide-line with an automatic scoring by computer software. We transformed a hand-written scoring guide-line to a machine-readable answer template that is an XML format. Automatic scoring system consists of four steps: model answer scoring, concept-based scoring, cueword-based scoring, and manual scoring. Kappa coefficient showed an average 0.83 between automatic and manual scoring method.
