Long-Form 출력 평가를 위한 LLM-as-a-Judge 벤치마킹

섹션별 상세

긴 글 생성 평가에는 전체적인 구성, 과제 관련성, 깊이, 섹션 간 일관성 등 복잡한 문서 수준의 평가가 요구된다.

기존 LLM-as-a-Judge 벤치마크는 주로 단문 평가에 집중되어 있어 긴 글 평가에서의 신뢰성이 검증되지 않았다.

LongJudgeBench는 다양한 실세계 시나리오와 평가 프로토콜을 포함하여 LLM 평가자의 성능을 체계적으로 측정하도록 설계됐다.

실험 결과, 현재 LLM 평가자는 시나리오에 따라 성능 편차가 크며 루브릭이나 참조 자료 제공만으로는 신뢰성을 완전히 보장하기 어렵다.

LLM 평가자(LLM-as-a-Judge): — LLM을 평가자로 사용하여 모델의 출력을 평가하는 기법. 사람이 직접 평가하는 방식의 확장성 한계를 보완하기 위해 사용되나, 긴 글 평가에서는 일관성 및 정확도 문제가 발생할 수 있음.
긴 글 생성(Long-form Generation): — 단락 단위 이상의 긴 텍스트를 생성하는 작업. 단순한 사실 확인을 넘어 전체적인 논리 구조, 문맥 유지, 정보의 깊이 등이 중요하게 평가됨.
메타 평가(Meta-evaluation): — 평가 방법이나 지표 자체의 타당성과 신뢰성을 검증하는 과정. LLM 평가자의 성능을 측정하기 위해 사용됨.