ErrataBench: LLM의 교정 능력 평가를 위한 벤치마크

섹션별 상세

ErrataBench는 문학, 법률, 기술 매뉴얼 등 다양한 소스 텍스트에 오류를 삽입한 데이터셋을 활용하여 LLM의 교정 성능을 평가한다.

근거

ErrataBench measures all of this by running a simple agent loop over large samples of text — Introduction section

에이전트 루프는 모델에게 최대 2,000단어의 텍스트 청크를 제공하고, 'find_and_replace'와 'replace_paragraph' 도구를 사용하여 오류를 수정하게 한다.

근거

The benchmark runs a simple agent loop over each altered text, showing the model chunks of up to 2000 words at a time — Methodology section

평가는 오류 수정률, 비용 효율성, 속도, 도구 호출 효율성, 일관성 등 다각적인 지표를 통해 이루어진다.

벤치마크는 청크 크기와 턴 수를 조절하여 모델의 추론 능력과 교정 정확도를 측정하며, 고성능 모델일수록 더 복잡한 오류 수정에 유리하다.

에이전트 루프(Agent Loop): — 모델이 주어진 작업을 완료하기 위해 도구를 사용하여 반복적으로 추론하고 행동하는 구조이다. 이 벤치마크에서는 텍스트 청크를 처리하고 오류를 수정하는 과정을 반복한다.
LLM 판사(LLM Judge): — 모델이 생성한 결과물의 정확성을 평가하기 위해 다른 고성능 LLM을 사용하는 방식이다. 본 벤치마크에서는 모델이 수정한 텍스트가 원본과 다를 경우, 해당 수정이 올바른지 판단하는 데 사용된다.
찾기 및 바꾸기(Find and Replace): — 텍스트 내 특정 부분을 검색하여 수정하는 도구적 접근 방식이다. 모델이 교정 작업 시 수술적으로 오류를 수정하기 위해 사용하는 핵심 도구이다.