본 연구에서는 교사의 수업전문성을 측정하는 수업관찰도구의 측정학적 타당성 검증과 교사의 학교 급간에 따라 수업관찰도구에서 차별적으로 기능하는 문항이 존재하는지 검토하였다. 수업관찰도구의 타당성 검토를 위해 ICALT 수업관찰도구로 측정한 초등학교 수업관찰 사례 384개 데이터와 중ㆍ고등학교 수업관찰 사례 600개 데이터를 대상으로 문항 적합도 검증, 피험자와 문항분포도 및 응답척도 분석을 실시하였다. 또한, 학교 급간에 따라 차별적으로 기능하는 문항의 검토를 위해 차별기능문항(DIF)분석을 실시하였다. 문항 적합도 검증 결과 ICALT 수업관찰도구 35개 문항의 내적합도는 .77 ~ 1.30, 외적합도는 .78 ~ 1.32, 양류상관계수는 .50 ~ .70로 문항이 적합한 것으로 나타났다. 또한 피험자의 능력분포와 문항의 난이도 분포를 비교한 결과 ICALT 수업관찰도구는 수업전문성이 낮은 교사를 변별하는데 적합한 문항으로 나타났으며, 응답척도 분석 결과 문항의 반응범주곡선이 평정척도 1에서 4에 이르기까지 다른 수준에서 명확하게 구분되어 4점 척도의 사용이 적절한 것으로 나타났다. 학교 급에 따른 ICALT 수업관찰도구의 차별기능문항분석결과 수업전문성 각 영역에서 차별적으로 기능하고 있는 문항이 있음을 확인하였다.