Amazon, AI 생성 연구 보고서 평가를 위한 'Audit-then-score' 프로토콜 공개

섹션별 상세

기존의 정적 벤치마크는 복잡한 AI 연구 보고서의 사실 관계를 평가하는 데 한계가 있다. 단일 문장이 여러 소스의 정보를 결합하거나 문맥에 의존하는 경우 기존 도구는 이를 정확히 판단하지 못한다.

인간 전문가를 대상으로 한 통제 연구에서 전문가들은 알려진 정답 세트에 대해 60.8%의 정확도만을 기록했다. 이는 심층 연구 사실 검증이 인간에게도 매우 까다로운 작업임을 시사한다.

Audit-then-score 프로토콜은 AI 모델이 벤치마크 정답에 이의를 제기할 경우, 모델이 직접 근거와 논리를 제시하도록 요구한다. 인간 감사자는 이 새로운 근거를 기존 정답의 논리와 비교하여 벤치마크를 수정한다.

DeepFact-Bench와 DeepFact-Eval 시스템은 이 프로토콜을 구현한다. DeepFact-Eval은 전체 보고서 문맥을 읽고 문헌을 검색하여 사실 여부를 판정하고, 불충분한 정보가 있을 경우 추가 질문을 생성한다.

정답 데이터셋(Ground Truth): — 모델 학습 및 평가의 기준이 되는 검증된 데이터. 이 아티클에서는 고정된 정답이 아닌, 지속적으로 검증하고 수정해야 하는 과정으로 재정의됨.
사실 검증(Fact-checking): — AI가 생성한 텍스트의 주장이 실제 문헌과 일치하는지 확인하는 과정. 복잡한 연구 보고서에서는 여러 문헌의 교차 검증이 필수적임.
감사 후 점수 산정(Audit-then-score): — AI 모델이 벤치마크 정답에 이의를 제기하면 근거를 검토하고 벤치마크를 수정하는 평가 프로토콜. 정답의 고정성을 탈피하여 평가의 정확도를 높임.