- 순위화시스템의 효과측정척도에 관한 연구
- ㆍ 저자명
- 노정순
- ㆍ 간행물명
- 정보관리학회지
- ㆍ 권/호정보
- 2000년|17권 4호|pp.67-81 (15 pages)
- ㆍ 발행정보
- 한국정보관리학회
- ㆍ 파일정보
- 정기간행물| PDF텍스트
- ㆍ 주제분야
- 기타
이 논문은 한국과학기술정보연구원과 논문 연계를 통해 무료로 제공되는 원문입니다.
본 연구는 IR시스템 평가에 가장 많이 사용되는 R과 P가 순위화된 검색결과를 제공하는 시스템의 효과를 측정하는데 적절한가를 논의하고, R과 P 대신 순위화된 검색결과를 평가하는데 사용되고 있는 평가척도들을 고찰하고, 새로운 평가척도를 제안하였다. 또한 이들 평가척도가 어떤 환경에서 타당한지를 이론적으로 규명하고 사례를 들어 검증하였다. 11-포인트 평균정확률(평균)이 11-포인트 평균정확률(최고)보다 판별력이 있는 것으로 나타났고, 보다 간편한 여러 측정척도가 11-포인트 평균정확률을 대신할 수 있을 정도로 충분히 유사도가 높은 것으로 검증되었다.
This study discussed why Precision(& Recall) is not a good effectiveness measurement of IR system providing ranked results, reviewed other effectiveness measurements appropriate for ranked results, and proposed new measurements based on the average rank of relevant documents retrieved. The 18 case-sets of ranked results were used for evaluating 10 effectiveness measurements including proposed measurements. Simple measurements were significantly similar with the 11-Point Precision requiring complicated calculation.