전략적 내비게이션인가, 확률적 검색인가? 에이전트와 인간의 문서 컬렉션 추론 방식 비교

멀티모달 에이전트가 복잡한 문서 뭉치에서 정보를 찾는 능력을 평가하는 새로운 벤치마크 MADQA를 제안한다. 현재 AI는 정답을 맞히는 능력은 뛰어나지만, 인간처럼 전략적으로 검색 경로를 설계하지 못하고 무차별 대입 방식에 의존하고 있음을 밝혀냈다.

기존의 문서 Q&A는 주로 단일 문서나 텍스트 위주의 검색(RAG)에 집중했다. 하지만 실제 업무 환경에서는 수백 개의 PDF 파일 사이를 오가며 정보를 조합해야 한다. 기존 방식은 관련 문서를 한 번에 다 불러오려 하지만, 이는 토큰 비용과 연산량 면에서 비효율적이다. 이 논문은 에이전트가 첫 번째 검색 결과에서 얻은 힌트를 바탕으로 다음 검색 쿼리를 수정하고, 불필요한 문서는 건너뛰는 '전략적 내비게이션' 능력을 갖췄는지 확인한다.

실험 결과, AI는 정답을 찾을 때까지 무작위로 검색을 반복하는 '확률적 검색' 경향이 강했다. 반면 인간은 첫 번째 쿼리에서 정답 문서를 찾을 확률이 훨씬 높았으며, 실패했을 때 전략을 빠르게 수정했다. 이는 AI가 딥러닝의 Embedding 유사도에 기반한 검색에는 능숙하지만, 인간처럼 문서 구조를 파악해 탐색 경로를 설계하는 고차원적 추론 능력은 부족함을 시사한다.

MADQA는 추출성, 멀티홉, 폐쇄형 세계, 근거 기반, 에이전트성, 시각적 요소라는 6가지 핵심 속성을 기준으로 설계됐다. 특히 '에이전트성' 속성은 단 한 번의 검색 쿼리로는 해결할 수 없는 구조를 강제하여 에이전트의 계획 능력을 시험한다.

데이터셋 분할에는 고전 검사 이론(CTT)을 적용했다. 각 문항에 대해 모델들의 평균 정답률을 입력으로 하여 난이도($p_j$)를 계산하고, 모델 간 성능 차이를 가장 잘 드러내는 변별도($r_{pbis}$)를 산출하여 테스트 세트를 구성했다. [모델 정답률 → 난이도/변별도 계산 → 최적 문항 선별 → 평가 신뢰도 향상]

성능 평가를 위해 Kuiper 통계량($K$)을 사용한다. 각 질문에 대해 투입된 노력(검색 횟수 $s_i$)과 결과(정답 여부 $y_i$)를 입력값으로 사용한다. 노력 순으로 정렬된 데이터에서 모델의 평균 정확도와의 편차를 누적하여 합산하는 연산을 수행한다. 그 결과로 나오는 누적 편차 곡선의 최대값과 최소값의 차이가 최종 $K$값이 된다. [검색 단계별 정확도 편차 계산 → 누적 합산 → 최대/최소 범위 측정 → 에이전트의 자원 배분 효율성 판단]

Gemini 3 Pro BM25 에이전트가 82.2%의 정확도를 기록하며 비에이전트 방식(78.6%)보다 우수한 성능을 보였다. 하지만 인간(82.2%)과 정확도는 비슷해도 검색 효율성을 나타내는 Kuiper 지수는 인간(14.6)보다 훨씬 높은 25.8을 기록하여 비효율적인 탐색을 반복함이 드러났다.

에러 분석 결과, 하위 모델은 검색 실패가 주된 원인이었으나, 상위 모델로 갈수록 문서를 찾고도 내용을 잘못 해석하는 이해 실패 비중이 높아졌다. 특히 Claude Sonnet 4.5는 검색 실패율이 4.0%로 매우 낮았지만 이해 실패율은 상대적으로 높게 나타났다.

멀티홉 질문에서 문서 간의 물리적 거리보다 의미적 거리(Semantic Distance)가 난이도에 더 큰 영향을 미쳤다. 의미적으로 유사한 문서 간의 연결은 72.4%의 정확도를 보였으나, 이질적인 문맥을 연결해야 하는 경우 정확도가 34.8%로 급감하여 의미적 불연속성이 에이전트의 주요 실패 요인임이 확인됐다.

MADQA는 13개 도메인의 800개 PDF를 포함하며, 58%의 질문이 시각적 요소(표, 레이아웃 등) 이해를 필수적으로 요구한다. 평가 지표로 Page F1과 Doc F1을 구분하여 사용하는데, Doc F1은 올바른 문서를 찾았는지를 보며 Page F1은 문서 내의 정확한 페이지까지 찾아냈는지(Last-mile navigation)를 정밀하게 측정한다.

에이전트의 '노력'을 측정하기 위해 도구 호출 횟수(Step counts)를 기본 단위로 설정했으며, 이는 토큰 사용량이나 실행 시간과도 높은 상관관계($\rho > 0.85$)를 보임을 확인했다. Recursive Language Models(RLM)과 같은 비제약적 구조는 이론적 유연성은 높으나, 실제 실험에서는 BM25 기반 에이전트보다 훨씬 많은 비용을 소모하면서도 성능 이득은 크지 않아 제약 조건이 있는 검색 도구 활용이 비용 효율적임이 나타났다.

영어권 및 미국 중심의 문서로 구성되어 있어 타 언어나 문화권의 문서 양식에는 결과가 전이되지 않을 수 있다. 또한 공개된 문서만을 사용했으므로 기업 내부의 특수한 보안 문서나 비공개 워크플로에 대한 평가는 포함되지 않았다.