전략적 탐색인가, 확률적 검색인가? 에이전트와 인간의 문서 집합 추론 방식 비교

멀티모달 에이전트(Multimodal agents)는 복잡한 문서 집약적 워크플로를 자동화할 수 있는 유망한 경로를 제공합니다. 그러나 이러한 에이전트가 진정한 전략적 추론(strategic reasoning)을 보여주는지, 아니면 단순히 확률적인 시행착오 검색(stochastic trial-and-error search)을 수행하는지에 대한 중요한 의문이 남아 있습니다. 이를 해결하기 위해 본 연구에서는 800개의 이기종 PDF 문서를 기반으로 사람이 작성한 2,250개의 질문으로 구성된 벤치마크인 MADQA를 소개합니다. 고전 검사 이론(Classical Test Theory)에 따라 설계된 이 벤치마크는 다양한 수준의 에이전트 능력에 걸쳐 변별력을 극대화하도록 제작되었습니다. 에이전트의 행동을 평가하기 위해 정확도와 노력 사이의 절충안(accuracy-effort trade-off)을 측정하는 새로운 평가 프로토콜을 도입했습니다. 이 프레임워크를 사용하여 분석한 결과, 최상위 에이전트들이 원시 정확도 면에서는 인간 검색자와 대등할 수 있지만, 주로 서로 다른 질문에서 성공하며 약한 전략적 계획(strategic planning)을 보완하기 위해 무차별 대입 검색(brute-force search)에 의존한다는 것을 보여줍니다. 에이전트들은 오라클 성능(oracle performance)과의 약 20% 격차를 좁히지 못하고 비생산적인 루프에 빠지는 경향을 보였습니다. 본 연구는 무차별 대입 검색에서 정교하고 효율적인 추론으로의 전환을 돕기 위해 데이터셋과 평가 도구를 공개합니다.