실제로 작동하는 작업 특화 LLM 평가 방법론 가이드

섹션별 상세

단순 정확도(Accuracy)는 클래스 불균형 상황에서 모델의 성능을 왜곡할 수 있어 정밀도와 재현율을 함께 고려해야 한다. ROC-AUC와 PR-AUC 곡선을 활용하면 다양한 임계값에서의 성능을 시각화하고 모델의 변별력을 수치화할 수 있다. 특히 일관된 데이터와 불일치 데이터의 확률 분포가 얼마나 잘 분리되는지를 나타내는 JS Divergence 지표는 모델의 신뢰도를 평가하는 데 유용하다. 이를 통해 특정 임계값에서 발생할 수 있는 오탐지 위험을 사전에 파악하고 운영 환경에 맞는 최적의 기준을 설정할 수 있다.

요약 작업의 사실적 일관성을 평가하기 위해 n-gram 기반의 ROUGE 대신 자연어 추론(NLI) 모델을 활용하는 것이 효과적이다. NLI 모델은 원문을 전제로, 요약문을 가설로 설정하여 함의(Entailment), 중립(Neutral), 모순(Contradiction) 여부를 판단함으로써 할루시네이션을 감지한다. 실험 결과, 오픈소스 데이터셋인 FIB와 USB로 파인튜닝된 NLI 모델은 ROC-AUC를 0.56에서 0.85까지 향상시키며 강력한 가드레일 역할을 수행했다. 이 방식은 LLM을 직접 평가자로 사용하는 것보다 비용이 저렴하면서도 논리적 오류를 더 정확하게 잡아낸다.

파인튜닝 후 NLI 기반 분류 모델의 진단 그래프 세트 — ChartROC-AUC 0.85 및 PR-AUC 0.87을 달성하여 모델이 일관된 문장과 불일치 문장을 명확하게 구분하고 있음을 보여줍니다. 특히 JS Divergence 수치가 11.078로 높게 나타나 두 분포 간의 변별력이 우수함을 입증합니다.

요약 작업에 적용된 NLI(자연어 추론) 태스크 예시 표 — Diagram문서(전제)와 요약문(가설) 사이의 관계를 Entailment, Neutral, Contradiction으로 분류하는 과정을 보여줍니다. 이를 통해 요약문이 원문의 내용을 논리적으로 따르는지 아니면 모순되는지를 판별하는 메커니즘을 설명합니다.

근거

오픈소스 데이터로 파인튜닝된 NLI 모델은 사실적 불일치 감지 성능(ROC-AUC)을 0.56에서 0.85로 향상시킨다. — Summarization: Consistency via NLI 섹션의 그래프 설명 및 본문 출처

기계 번역 평가에서 오랫동안 사용된 BLEU 지표는 인간의 판단과 상관관계가 낮아 최신 벤치마크에서 도태되고 있다. 대신 문자 단위 F-score인 chrF나 BERT 기반의 BLEURT, 그리고 소스 문장까지 고려하는 COMET 모델이 더 정교한 대안으로 자리 잡았다. 특히 COMETKiwi와 같은 참조 없는(Reference-free) 지표는 인간이 작성한 정답지가 없어도 번역 품질을 추정할 수 있어 데이터 확보 병목을 해결한다. 이러한 학습 기반 지표들은 문맥적 의미와 유창성을 더 잘 포착하여 실질적인 사용자 경험을 반영한다.

근거