CiteVQA: 신뢰 가능한 문서 지능을 위한 증거 귀속 벤치마크

현재 Doc-VQA 평가는 주로 최종 정답의 정확도에 집중하고 증거의 타당성은 간과된다. CiteVQA는 답변의 정확성과 함께 pdf 내 특정 위치의 요소 수준 바운딩 박스 증거를 제시하도록 요구하여, 모델이 올바른 위치의 증거에 근거해 답을 도출했는지 검증한다. 711개의 다문서 PDF에서 1,897개의 질문을 통해 긴 문서에서도 신뢰 가능한 해석 경로를 평가하는 체계를 제공한다.

문제 정의: 긴 문서에서 정답을 도출하는 과정에서 텍스트와 시각적 요소 간의 연결 고리를 명확히 확인해야 한다. 기존 Doc-VQA는 최종 답에 초점을 맞추고 증거의 위치를 검증하지 않는다. 해결 원리: 바운딩 박스 단위의 증거를 정답과 함께 요구하고, 다문서 간 연결을 통해 증거 체인을 구성하며, 자동화된 파이프라인과 전문가 검증으로 스케일링한다. 기대 효과: 증거의 위치와 질을 함께 최적화하면 신뢰성 높은 문서 이해가 가능해지며, multi-doc 상황에서도 증거의 적합성과 재현성을 보장할 수 있다.

전체 접근은 네 단계로 구성된다. 1) Multi-Document Linking: 유사도 기반 후보 문서를 연결하고 섹션 간 매칭으로 크로스-도큐먼트 연계를 생성한다. 2) Evidence Package Extraction: MinerU를 이용해 페이지, 바운딩 박스, OCR 내용을 수집하고, 서로 다른 페이지/문서에 흩어진 증거를 연결한다. 3) QA Construction: 실제 도메인 QA를 반영하는 템플릿을 바탕으로 QA 쌍을 자동으로 생성한다. 4) Quality Control: 증거의 타당성 확인과 Crucial Evidence 식별을 위한 ablation 절차를 포함해 데이터 품질을 보장한다.

주요 실험은 20개 모듈형 MLLM을 대상으로 수행되었다. 데이터셋 구성: 711문서, 평균 40.6페이지, 1,897개 질문(52.0% 단일문서, 25.7% 1개 골드 문서 다중문서, 22.3% 다중 골드). 증거 요소 평균 2.57개이며, 텍스트가 70.12%, 표 21.99%, 이미지 7.04%, 방정식 0.84%를 차지한다. 평가 지표: SAA는 Ans가 4 이상이고 Rel/Rec가 조건을 만족하는 경우에만 1점; Overall SAA는 Gemini-3.1-Pro-Preview가 76.0으로 최고, 오픈소스 모형은 22.5에 그친다. 보고서는 Attribution Hallucination 현상을 강조한다. 다문서 시나리오에서는 Recall이 크게 떨어지며 모델 간 큰 격차가 존재한다. 데이터와 모델의 상세 수치는 논문에 제시된 표를 참조한다.