연구배경: 가천의과대학교에서는 2000학년도 2학기에 시행한 병리학 학습평가의 일환으로 수행평가 이론이 기초하여 설계한 구술시험을 실시하고, 평가도구로서의 타당성과 신뢰성을 조사하였다. 방법: 구술시험도구는 평가목적 설정, 성취영역의 구체화, 평가도구의 설계, 채점기준의 설정(체크리스트 개발) 등 4단계 과정을 거쳐 개발되었다. 개발된 도구는 두 개의 과제에 따른 4개의 문항과 3개의 성취영역으로 포함한 총 12개의 항목을 5단계로 평정하도록 구성하였다. 이 체크리스트를 활용하여 총 6명의 평가자가 2명씩 한 조가 되어 3개의 학생 그룹에 배치되어 구술시험을 실시하였다. 결과: 구술시험 점수의 평균점수는 5.00 만점에 3.56으로 비교적 높았으며, 영역별 점수는 이해력, 문제해결력, 논리성의 순서로 나타났다. 평가자간 점수의 상관은 0.952로 통계적으로 유의하였으며, 과제간 점수의 상관도 0.979로 통계적으로 유의하였다. 구술시험 점수와 다른 시험 점수간의 관계를 분석한 결과, 시험 점수간의 상관은 필답-실습, 구술-실습, 구술-필답의 순으로 나타났는데, 통계적으로는 유의했으나 동일한 시험으로 간주할 수 있을 만큼 높지는 않았다. 결론: 평가목적 설정, 성취영역의 구체화, 평가도구의 설계, 채점기준의 설정 4단계 과정을 거쳐 구술시험을 개발하였을 때 임상전 단과목 시험을 위한 수행평가로서도 높은 타당성과 신뢰성을 보일수 있었다.