연구목적： 최근 국내에도 의학과 학생들의 정신과 영역에서 임상 수행 능력 평가를 위해서 OSCE(Objective Structured Clinical Examination)가 여러 의과 대학에서 도입되어 시행 중이다. 본 연구는 한양대학교 의과대학에서 4년간 시행한 OSCE 성적과 문항 분석, 시험장 복제에 따른 문제점, 타 시험 성적과 상관관계를 연구하여 향후 정신과 OSCE 시행에 따른 신뢰도와 타당도 개선 연구에 기초 자료를 제시하는 것을 목적으로 한다. 방 법： 1996년부터 1999년까지 한양대학교 의과대학에서 의학과 4학년을 대상으로 OSCE를 시행하였다. 1996년 에 비디오 시청 후 자가 체크리스트로 평가하였고, 1997년과 1998년에는 비디오 시청 후에 임상교수가 체크리 스트를 이용하여 평가하였다. 1999년에는 표준화 환자와 면담 후에 임상교수가 더욱 세분화된 체크리스트를 이 용하여 평가하였다. 4년 동안 시험장 복제를 하여 2군데 고사장에서 실시하였다. 성적 결과를 전체, 문항별, 복제된 고사장별로 비교 분석하였고, 타 시험성적과 상관성을 알아보았다. 결 과： 매년 OSCE 성적이 유의한 변화를 보였고, 1998년과 1999년에 타 시험성적과 OSCE 성적의 상관관계에 서 진단 및 처치에 관련된 문항과 유의한 상관 관계를 보였다. 복제된 고사장별 전체 성적 비교는 1996년과 1999년에 유의한 차가 없었고, 1997년과 1998년에는 유의한 차가 있었다. 그러나 1999년 OSCE의 문항별 분석에서 9문항의 점수가 복제된 고사장간에 유의한 차를 보였다. 결 론： 임상의사로서 태도나 자질을 보는 문항을 적절히 개발, 배분할 필요가 있고, 복제된 고사장간 신뢰도를 높이 기 위해서 평가교수의 충분한 사전 훈련과 명확한 평가 기준의 개발이 필요하고, 표준화 환자에 대한 연구가 더욱 필요하다