증거의 사슬: 반복적 검색 증강 생성을 위한 픽셀 수준의 시각적 속성 부여

기존의 검색 증강 생성(RAG) 시스템은 텍스트 기반의 출처만 제공하여 복잡한 도표나 슬라이드 내의 구체적인 증거 위치를 찾기 어려웠습니다. 이 논문은 문서의 스크린샷에서 직접 증거를 찾아 바운딩 박스로 표시함으로써, 사용자가 AI의 답변 근거를 즉시 시각적으로 검증할 수 있게 합니다.

기존의 Iterative RAG(iRAG)는 긴 문서를 텍스트로 변환하는 과정에서 표의 구조나 도표의 흐름 같은 시각적 의미 정보가 손실되는 문제를 겪습니다. 이는 Transformer 기반 모델이 텍스트 임베딩만으로는 문서의 공간적 맥락을 완전히 파악하기 어렵기 때문입니다.

CoE는 문서를 텍스트로 파싱하는 대신 '스크린샷' 자체를 입력으로 사용하는 Vision-Language Model(VLM)의 능력을 활용합니다. 이는 이미지 내의 픽셀 정보를 직접 처리하여 텍스트 간의 시각적 관계(예: 화살표로 연결된 순서도)를 보존한 채 추론을 수행할 수 있게 합니다.

결과적으로 모델은 답변을 생성할 때 단순히 텍스트를 인용하는 것이 아니라, 이미지 좌표계 상의 바운딩 박스를 출력하여 '증거의 사슬'을 시각적으로 구성합니다. 이를 통해 사용자는 수백 페이지의 문서 중 어느 부분의 어떤 데이터가 답변의 근거가 되었는지 즉각적으로 확인할 수 있습니다.

CoE는 다중 홉(multi-hop) 질문을 해결하기 위해 반복적인 시각적 추론 프로세스를 수행한다. 업스트림 리트리버가 제공한 상위 K개의 문서 스크린샷 후보군을 입력으로 받아, 각 단계마다 필요한 증거를 선택하고 해당 영역의 좌표를 추출한다.

핵심 메커니즘은 단일 자동 회귀(autoregressive) 패스 내에서 증거 체인을 생성하는 것이다. 모델은 [이미지 ID → 바운딩 박스 좌표 → 하위 질문/추론 사고] 순서로 토큰을 생성한다. 바운딩 박스 좌표 [x1, y1, x2, y2]는 이미지의 픽셀 좌표를 정규화한 값으로, 모델이 이미지 내 특정 영역에 Attention을 집중하여 정보를 추출했음을 의미한다.

학습 전략으로는 2단계 커리큘럼 학습(Curriculum Learning)을 채택했다. 1단계에서는 단일 이미지 내의 증거 로컬라이제이션 능력을 배양하고, 2단계에서는 상위 5개 후보 스크린샷에 대한 다중 홉 증거 체인 생성을 학습시킨다. 또한 공간 증강(Spatial Augmentation)과 해상도 변이(Resolution Variation) 기법을 적용하여 다양한 레이아웃과 폰트 크기에 대한 강건성을 확보했다.

Wiki-CoE 벤치마크에서 CoE-8B 모델은 82.3%의 답변 정확도(EM)와 80.4%의 로컬라이제이션 정확도(Loc-Acc)를 달성했다. 이는 강력한 제로샷 모델인 GPT-5(Loc-Acc 31.7%)나 Qwen3-VL-235B(Loc-Acc 7.4%)를 압도하는 수치로, 작업 특화 파인튜닝의 중요성을 입증했다.

복잡한 슬라이드 데이터셋인 SlideVQA에서도 CoE-8B는 61.0%의 Loc-Acc를 기록하며 텍스트 기반 베이스라인들이 레이아웃 정보 손실로 인해 실패하는 지점에서도 유의미한 성능을 보였다. 특히 다이어그램이 많은 슬라이드에서 텍스트 기반 모델 대비 28.5%p 높은 성능 차이를 보이며 시각적 추론의 필수성을 증명했다.

CoE 아키텍처는 Qwen3-VL-8B-Instruct를 백본으로 사용하며, 시각적 토큰과 텍스트 토큰을 통합된 컨텍스트 내에서 처리한다. 기존 iRAG 시스템이 텍스트 파싱(OCR/HTML parsing)에 의존하여 레이아웃 정보를 소실하는 것과 달리, CoE는 원본 렌더링을 보존한 스크린샷을 직접 입력으로 사용하여 공간적 의미론(Spatial Semantics)을 유지한다.

구현 측면에서 4-bit 양자화를 통해 메모리 사용량을 28GB에서 16GB로 43% 절감하면서도 성능 저하를 1% 미만으로 억제하여 일반 소비자용 GPU에서도 배포가 가능하도록 설계되었다. 또한 추론 시 각 홉(hop)에서 선택된 이미지 ID와 좌표를 JSON 형식으로 출력하도록 학습되어 시스템 통합 및 검증이 용이하다.

추론(Inference) 유형의 질문에서 문서 선택은 정확하나 바운딩 박스 생성 정확도가 떨어지는 경향이 있다. 이는 명시적으로 렌더링되지 않은 '암시적 논리'를 픽셀 단위로 시각화하는 데 현재 VLM이 여전히 한계를 가지고 있음을 시사한다.