신뢰할 수 있는 커스텀 AI 벤치마크 구축 가이드: 2025년 공공 벤치마크의 한계와 실무적 대안

섹션별 상세

공공 벤치마크의 급격한 성능 포화로 인해 모델 간의 변별력이 상실되고 있다. Humanity's Last Exam과 같은 고난도 시험조차 출시 15개월 만에 점수가 50%를 상회하며 포화 곡선에 진입했다. 따라서 최신 모델을 평가하기 위해서는 초기 정확도가 35% 미만으로 설계된 더 어려운 과제가 필요하다.

많은 벤치마크가 측정하고자 하는 개념을 실제로 측정하지 못하는 구성 타당성(Construct Validity) 문제를 안고 있다. 445개의 LLM 벤치마크를 검토한 결과, 일반적 추론 능력을 측정한다고 주장하지만 실제로는 특정 테스트 환경에 최적화된 편향된 결과를 보여주는 경우가 많았다. 이를 해결하기 위해 벤치마크 설계 단계에서 측정하려는 역량을 명확히 정의해야 한다.

단순한 단일 점수 리더보드 대신 다각도 지표를 포함하는 HELM 프레임워크 방식이 권장된다. HELM은 정확도뿐만 아니라 강건성, 공정성, 편향성 등 7가지 지표를 통해 모델을 평가하여 평가 범위를 17.9%에서 96%로 확장했다. 실무에서는 지연 시간 대 정확도와 같은 트레이드오프를 가시화하는 것이 중요하다.

고품질 벤치마크를 위해 전문가 저작 및 교차 검증 파이프라인이 필수적이다. GPQA Diamond는 전문가가 문제를 쓰고 다른 전문가가 검증하며 비전문가가 풀 수 없는지 확인하는 4단계 프로세스를 통해 신뢰성을 확보했다. 실제 GitHub 이슈를 활용하는 SWE-bench처럼 실제 아티팩트를 기반으로 한 과제가 합성 데이터보다 높은 신호력을 가진다.

LLM 평가자(LLM-as-a-Judge)의 신뢰성은 모델 크기보다 루브릭(평가 기준)의 명확성에 의해 결정된다. 연구에 따르면 루브릭이 모호할 경우 Chain-of-Thought 기법을 써도 신뢰도 향상이 미미하지만, 명확한 루브릭을 사용할 경우 인간과의 상관관계가 0.897까지 상승한다. 평가 시에는 위치 편향이나 자기 선호 편향을 방지하기 위해 평가 대상과 다른 모델 제품군을 사용해야 한다.