AutoResearchBench: 복잡한 과학 문헌 탐색을 위한 AI 에이전트 벤치마크

자율적인 AI 과학자 시스템이 발전하고 있지만, 실제 연구의 핵심인 복잡한 문헌 탐색 능력은 여전히 부족합니다. 이 논문은 단순 검색을 넘어 논문 전문의 세부 수치와 도표를 이해해야 풀 수 있는 고난도 벤치마크를 제시하여 에이전트의 한계를 명확히 규명합니다.

기존의 웹 브라우징 벤치마크는 주로 표면적인 텍스트 매칭이나 일반 상식 수준의 검색으로 해결 가능했다. 하지만 실제 과학 연구에서는 논문의 초록이나 제목에 나타나지 않는 부록의 수치, 실험 테이블의 세부 설정, 특정 알고리즘의 제약 조건 등을 결합해야만 원하는 정보를 찾을 수 있는 경우가 많다.

AutoResearchBench는 이러한 '세밀한 정보의 결합'을 핵심으로 설계되었다. 예를 들어, 단순히 'RAG 논문'을 찾는 것이 아니라 '특정 데이터셋을 사용하고, 특정 하드웨어에서 실험했으며, 기존 SOTA 대비 몇 퍼센트의 성능 향상을 보인 논문'을 찾도록 요구한다. 이는 에이전트가 논문 전문(Full-text)을 깊이 있게 읽고 여러 단계의 논리적 추론을 수행해야 함을 의미한다.

결과적으로 이 벤치마크는 에이전트가 단순히 검색 엔진을 잘 사용하는지를 넘어, 과학적 개념을 이해하고 복합적인 제약 조건을 논리적으로 검증하며 탐색 범위를 스스로 좁혀나가는 고차원적인 지능을 갖추었는지 평가하는 척도가 된다.

벤치마크는 두 가지 핵심 작업으로 구성된다. Deep Research는 |Y*(q)| ∈ {0, 1}의 정답 공간을 가지며, 에이전트는 여러 문서에 흩어진 미세한 단서들을 조합하여 유일한 타겟 논문을 식별하거나 정답이 없음을 증명해야 한다. Wide Research는 조건 q를 만족하는 모든 문서 집합 Y*(q)를 찾는 작업으로, 재현율(Recall) 중심의 탐색과 정밀한 필터링 능력을 동시에 요구한다.

데이터 구축을 위해 'Full-text-first' 파이프라인을 도입했다. 먼저 논문 전문에서 핵심 제약 조건을 추출하고, 이를 LLM을 통해 자연어 쿼리로 변환한 뒤, 인간 전문가가 직접 검증하고 다듬는 과정을 거친다. 특히 Deep Research의 경우, 타겟 논문을 유일하게 특정할 수 있는 '최소 충분 제약 조건(Minimal sufficiency constraints)' 원칙을 적용하여 문제의 변별력을 높였다.

평가 지표로는 Deep Research의 경우 정확도(Accuracy)를 사용하며, 부분 점수 없이 완전 일치 여부만 판단한다. Wide Research는 예측된 집합과 정답 집합 사이의 교집합 크기를 합집합 크기로 나눈 IoU(Intersection over Union)를 사용하여, 에이전트가 얼마나 누락 없이 정확하게 논문군을 수집했는지 측정한다. [예측 집합 ∩ 정답 집합 → 교집합 원소 수 계산 → 전체 합집합 원소 수로 나눔 → 0~1 사이의 유사도 값 산출]

실험 결과, 현재 가장 뛰어난 성능을 보이는 모델들도 AutoResearchBench에서 매우 고전하는 것으로 나타났다. Deep Research 작업에서 Claude-Opus-4.6은 9.39%의 정확도를 기록하며 1위를 차지했으나, 이는 일반 웹 브라우징 벤치마크인 BrowseComp에서 80% 이상의 성능을 보이는 것과 대조적이다. Wide Research에서는 Gemini-3.1-Pro-Preview가 9.31%의 IoU로 가장 높은 성적을 거두었다.

오류 분석 결과, 에이전트들은 주로 복잡한 제약 조건을 논리적으로 통합하는 데 실패하거나, 검색 결과가 많을 때 체계적으로 필터링하지 못하는 모습을 보였다. 특히 '생각하기(Thinking)' 모드를 활성화했을 때 추론 시간은 늘어났으나 실제 성능 향상은 미미하거나 오히려 하락하는 경우가 관찰되어, 단순한 추론 단계의 추가보다 효과적인 정보 획득 전략이 더 중요함이 확인됐다.

AutoResearchBench는 300만 개 이상의 arXiv 논문을 포함하는 DeepXiv 플랫폼을 기반으로 한다. 에이전트는 ReAct 프레임워크를 사용하여 검색 도구와 상호작용하며, 각 단계에서 '생각(Thinking)', '후보 선택(Candidate Selection)', '행동(Action)'의 순서를 따른다. 벤치마크 구축 시 데이터 오염을 방지하기 위해 2026년 2월까지의 최신 논문들을 포함하도록 설계되었다.

구현 측면에서 에이전트에게는 논문의 메타데이터뿐만 아니라 섹션별로 구분된 전문 텍스트가 제공된다. 긴 저자 목록은 생략하고 쿼리 관련 스니펫을 우선적으로 보여주는 등 에이전트의 컨텍스트 윈도우 효율성을 고려한 최적화가 적용되었다. 또한, Wide Research의 정답 셋 구축을 위해 3개의 독립적인 LLM 앙상블과 인간 전문가의 교차 검증을 거쳐 높은 신뢰도를 확보했다.

현재 벤치마크는 컴퓨터 과학 분야의 논문에 집중되어 있어 타 학문 분야로의 일반화 가능성은 추가 검증이 필요하다. 또한 텍스트 기반 검색과 추론에 중점을 두고 있어, 논문 내 복잡한 수식이나 이미지 정보를 직접적으로 처리하는 능력에 대한 평가는 제한적일 수 있다.