auroc

모델이 예측한 confidence와 실제 정답 여부를 구분하는 능력을 0.0~1.0 범위로 수치화한 지표로서, 0.5는 무작위 판단과 동등하고 1.0은 완벽한 분류를 의미한다. 입력으로 모델의 confidence 값과 정답 레이블을 받아 분류 성능을 계산하며, abstention 정책의 효율성을 판단할 때 calibration과는 구분되는 핵심 척도이다. 이 글 맥락에서는 개별 답안이 맞는지 여부를 confidence로 얼마나 잘 가려내는지를 수량화하는 데 사용됐다.