교육 분야에서 디지털 전환과 인공지능 기술의 도입이 급속하게 진행되면서 맞춤형 교육을 실현할 수 있는 여건이 조성되고 있다. 맞춤형 교육을 지원하는 평가 방법으로서 적응형(맞춤형) 평가는 학습자의 능력에 맞는 문항을 제공함으로써 평가에 필요한 시간이나 문항 수를 감소시켜 주기 때문에 교수·학습에 필요한 시간을 확보하면서 효율적이고 지속적인 평가활동을 가능하게 한다. 특히 적응형 평가는 평가의 정확도와 효율성을 높인다는 장점 덕분에 2018년부터 국제 학업 성취도 평가인 PISA 등에 적용되기 시작하였으며, 한국의 국가수준 학업성취도 평가에도 적용될 예정이다. 그러나 적응형 평가에서 수집된 데이터에 그동안 통상적으로 활용되어 오던 통계적 방법을 같은 방식으로 적용하기 어렵다는 점이 지적되고 있다. 적응형 평가에서 개별 문항에 응답하는 피험자들과 적응형 평가가 아닌 경우에 같은 문항에 응답하는 피험자들의 능력 분포가 다르기 때문이다. 이에 따라 이 연구에서는 적응형 평가 상황에서 수집된 데이터를 활용하여 통상적인 고전검사이론에 기반한 정답률을 산출할 경우, 편향된 결과가 나타날 수 있음을 보여주었다. 그리고 이를 교정하기 위한 방안으로서, 문항반응이론을 적용하여 문항모수치를 추정하고 이를 바탕으로 유사한 모의 데이터셋을 생성하여 정답률을 교정하는 방법을 제안하였다. 이러한 교정방법을 모의실험 연구와 PISA 2022 수학 데이터에 적용함으로써 정답률을 교정하는 데 효과적일 수 있음을 밝히고, 적응형 평가 자료를 정확하게 이해하고 분석하는 방법에 대해 논의하였다.
Adaptive testing is used to improve efficiency and enhance the test taker experience. One type of adaptive testing is multi-stage testing (MST), in which the next modules are selected based on the test-taker's performance on previous modules. MST has been used in the Programme for International Student Assessment (PISA) since 2018, and will be used in the National Assessment of Educational Achievement (NAEA) in Korea. Adaptive testing can also benefit adaptive learning by reducing the number of items and testing time. This allows teachers and students to have more time for teaching and learning. However, it is necessary to examine whether conventional statistical methods are still applicable to data from adaptive tests. In this study, we show that the proportion correct may be biased when data are collected under MST designs. To adjust the proportion correct, we propose using item response theory to generate pseudo-complete data. Using the simulation study and empirical analyses of PISA 2022 mathematics data, we show that the proposed method is promising for adjusting the proportion correct.
I. 서론 Ⅱ. 이론적 배경 Ⅲ. 연구 방법 Ⅳ. 연구 결과 Ⅴ. 결론
