mmlu-pro-r

논문에서 평가에 사용된 보류된 다지선다형 벤치마크로, 모델의 다중선택 질문 정확도와 힌트에 대한 민감도를 검증하기 위한 데이터 분포 중 하나이다. Held-out 평가 분포로 사용되어 길이 벌점 학습의 일반화 성능을 측정하는 역할을 했다. 결과 해석에서 기준 성능과 신뢰도 비교의 기준점으로 활용되었다.