Agora: 에이전트형 직장 문서 추론을 위한 아카이브 기반 벤치마크

왜 중요한가

기업·기관 내부 아카이브에서 분산된 근거를 찾아 계산·검증하는 능력은 단순 대화 능력과 별개로 조직 생산성에 직접적 영향을 준다. Agora는 대규모·다도메인·검증 가능 쿼리 집합으로 이 능력을 측정하며, 평가 결과 최고 모델의 정확도는 59.39%로 현행 LLM 에이전트의 한계와 도메인별 약점을 드러냈다.

핵심 기여

크로스도메인 아카이브-기반 벤치마크 구축

362개의 검증 가능한 수치형 질의와 도메인별 컬렉션 8개(총 9,664개 문서, 372M 토큰)를 포함하는 Agora를 제공했다. 각 질의는 고정된 컬렉션 내 증거만으로 답할 수 있도록 설계되어 자동·결정적 채점이 가능하다.

에이전트 기반 합성·난이도 파이프라인

문서 수집·청크화, 벡터 인덱싱, cross-document task synthesis, leakage-preventing obfuscation, difficulty filtering, 인간 검증을 결합한 파이프라인을 구현했다. 파이프라인은 seed chunk 기반 탐색과 공격 테스트를 통해 증거 누출을 줄이고 난이도를 보장한다.

포괄적 모델 평가와 실패 분석

8개(상용·오픈 포함) 모델을 mini-swe-agent 하니스로 동일하게 평가하고 도메인별·모델별 성능 분해를 제공했다. 최고 모델은 Gemini-3.1-Pro로 59.39% 정확도를 보였고, 모델들이 증거 탐색·식별·리소스 소진 등에서 각각 다른 실패 모드를 보임을 규명했다.

핵심 아이디어 이해하기

대형 언어 모델(LLM)은 파라메트릭 지식으로 많은 질문에 답하지만, 실무 아카이브에서의 문서 근거 기반 작업은 '파라메트릭 지식이 아닌 고정된 문서 집합'에서 희소한 증거를 찾아 결합하고 불일치(단위·시간·용어)를 해소한 뒤 계산해야 한다. 문서 모음이 모델의 컨텍스트 윈도우를 훨씬 초과하면 단순한 전체 스캔이나 키워드 매칭으로는 해결 불가능하다.

방법론

전체 접근은 세 단계로 구성된다. (1) Data Collection and Preprocessing: 공식 자료·연구·보고서 등을 도메인별 seed로 수집해 PDF→Markdown(dots.ocr) 변환, Markdown은 8,000-token 슬라이딩 윈도(오버랩 800, stride 7,200)로 청크화, PDF는 5페이지 윈도우로 그룹화, Excel/CSV는 시트 단위로 compact table profile(열명·데이터 타입·요약 통계·샘플 행)로 변환했다. 청크는 정보밀도 휴리스틱(숫자·테이블·시계열 우대)으로 점수화해 도메인별 상위 100개를 seed로 보존하고, 요약·태그를 생성해 벡터 인덱스에 저장했다.

(2) Task Synthesis: seed chunk로부터 벡터 검색을 통해 교차 문서 bridging facts를 탐색해 초안 질의를 생성한다. 초안은 참조 reasoning path와 검증 코드와 함께 산출된다. 이후 Refinement 단계에서 가독성·일관성·모호성 체크를 거치고, Obfuscation 단계에서 lexical 및 structural leakage 탐지 공격을 적용해 노출된 용어를 역할 기술어 등으로 재작성한 뒤 재테스트한다.

(3) Quality Control: 세 모델 패널(GPT-5.5, DeepSeek-V4-Flash, DeepSeek-V4-Pro)로 정답을 모두 맞히는 문제는 폐기하여 충분한 난이도를 보장하고, Codex 기반의 두 조건(질의만, 질의+참조경로) 실행으로 추론 체인의 타당성을 자동 판단했다. 마지막으로 인간 검증을 거쳐 362문항을 확정했다.

평가 하니스는 mini-swe-agent로 통일하여 에이전트가 도큐먼트 디렉토리를 탐색하고 bash 명령을 실행할 수 있게 했으며, 정답 제출은 … 태그로 규격화되어 자동 채점이 가능하다. 에피소드는 최대 200 상호작용 턴과 3,600초 타임아웃으로 제한된다.

주요 결과

주요 벤치마크 결과는 모델별 전체 정확도 및 도메인별 변동으로 요약된다. 전체 정확도 기준으로 상위 모델은 Gemini-3.1-Pro(59.39%), GPT-5.5(54.70%), GLM-5.1(50.00%), DeepSeek-V4-Pro(45.86%), DeepSeek-V4-Flash(40.06%)이며 하위 모델로 Qwen3.5-35B-A3B(11.33%), Gemini-3.1-Flash-Lite(6.35%), Qwen3.5-9B(3.04%)가 관찰된다. 모델들은 두 개의 뚜렷한 티어로 분리되며, 상위 티어와 하위 티어 간 격차는 28.73포인트로 크게 벌어졌다.

오버라인 결과는 도메인별 편차를 가리며, 동일 모델 내에서도 도메인별 잔차(모델 평균 대비 성능 차이)가 크게 나타난다. 예컨대 Gemini-3.1-Pro는 전체 1위임에도 Finance 도메인에서 41.03%로 하락했고, GPT-5.5는 Business에서 38.00%로 떨어져 도메인별 리더보드 재배열이 발생했다.

실패 모드 분석에서 잘못된 사례는 주로 증거 관련 범주(Incomplete Inspection, Evidence Misidentification, Instruction Non-Following)에 속하며, Resource Exhaustion과 Hallucination은 모델별로 구체적 차이를 보였다. Resource Exhaustion 발생률은 GPT-5.5에서 24.59%, DeepSeek-V4군에서는 ≤1.10%, Gemini-3.1-Flash-Lite에서는 69.61%로 보고되었다. Hallucination 비율은 상위 티어에서 12% 미만인 반면, 소형 모델에서는 약 40% 수준으로 상승했다.

상호작용 턴 분포 분석에서는 정답 제출이 낮은~중간 턴에서 집중되고, 예산(턴/시간)을 길게 쓰는 에피소드는 대부분 오답으로 끝나 탐색이 길어질수록 복구 가능성이 낮아지는 경향이 확인됐다.

기술 상세

전체 아키텍처는 문서 수집기→청크화 모듈→요약/태깅→임베딩 및 벡터 인덱스→모델 기반 합성기→검증 패널 및 인간 검증으로 구성된다. 입력 문서는 PDF, Markdown, Excel, CSV 네 포맷을 형식별 규칙으로 표준화하여 청크 단위로 변환했고, 각 청크는 메타데이터(원문 파일명·출처·청크 레인지)와 함께 JSON으로 저장된다.

청크화 세부: PDF는 5페이지 윈도우를 하나의 청크로 그룹화하였다. Markdown 파일은 8,000-token 슬라이딩 윈도로 분할했으며 오버랩 800-token, 실질 stride는 7,200-token로 명시되었다. Excel은 시트별로 compact table profile을 만들고 열 이름·데이터 타입·요약 통계·샘플 행으로 표현했다. 이들 청크는 정보밀도 휴리스틱으로 점수화되어 도메인별 상위 100개 seed로 선별되었다.

임베딩·검색: 각 청크/문서/도메인 단위로 GPT 기반 요약과 태그를 생성해 임베딩하고 벡터 DB에 색인했다. 검색은 쿼리 임베딩 대비 유사도 기반으로 관련 청크를 회수하며, 회수된 청크들을 바탕으로 교차 문서 bridging facts를 찾는 탐색이 진행된다.

질의 합성 & 난독화 알고리즘: Drafting 단계는 검색된 증거를 연결해 멀티홉 질문과 참조 추론 경로·검증 코드를 산출한다. Refinement는 질문과 추론 경로의 정합성·자연성·모호성 제거를 자동 검사한다. Obfuscation은 자동 공격 테스트(lexical/structural leakage detection)를 적용해 노출된 키워드·엔터티를 역할 기반 설명 등으로 대체하고 재검증한다.

난이도 필터링·검증: 폐기 기준으로는 (i) 폐쇄형(질의만) 정답 가능 항목, (ii) 세 모델 패널(GPT-5.5, DeepSeek-V4-Flash, DeepSeek-V4-Pro)이 모두 정답인 경우(난이도 부족으로 간주) 등이 있다. Codex가 질의만 조건과 질의+참조경로 조건으로 각각 수행한 궤적을 비교해 추론 체인의 유효성·명확성을 자동 판단했다. 마지막 단계에서 인간 검증자가 질의·참조경로·정답을 확인했다.

평가 하드웨어·런타임: 모든 실험은 mini-swe-agent 하니스를 통해 동일한 bash 도구 호출 인터페이스로 실행되었고, 에피소드 예산은 최대 200 턴·3,600초였다. 모델별로 각자의 네이티브 최대 컨텍스트 길이를 허용했고 일부 모델(Qwen 계열)은 로컬 SGLang로 서빙했다.

한계점

논문에 명시된 한계는 다음과 같다. (1) 도메인 범위는 8개로 단일 논문보다 넓지만 모든 직장 환경을 대표하지는 못한다. (2) 질의 수는 품질 확보를 위해 362개로 제한되어 있어 대량 집합의 통계적 커버리지는 의도적으로 낮춰졌다. (3) 난이도 필터링에 사용된 패널 모델 가운데 일부가 평가 대상과 겹쳐 해당 모델들에 대해 약간의 편향이 생길 여지가 있다. (4) 모든 모델을 동일한 최소 하니스(mini-swe-agent)로 평가했기 때문에 더 복잡한 에이전트 스캐폴딩 하에서는 절대 정확도가 달라질 수 있다.

실무 활용

Agora의 구성 파이프라인(문서 청크화→벡터 인덱싱→질의 합성·난독화·난이도 필터링)은 다른 조직의 내부 아카이브용 QA 벤치마크와 레드팀용 문제 생성기로 재활용 가능하다. 다만 논문에 공개된 GitHub 저장소는 없으므로 즉시 배포용 코드 사용은 불가하다.

내부 문서 기반의 자동화된 질의응답 에이전트 성능 평가용 벤치마크로 사용
조직별 아카이브 특성(파일 포맷·단위·용어 불일치)에 맞춘 에이전트 개발 및 진단
문제 생성 파이프라인을 활용한 대규모 검증 가능 QA 데이터셋 자동 합성
에이전트 실패 모드(리소스 소진, 증거 미식별 등) 진단을 위한 테스트 스위트 구성

코드 공개 여부: 미확인

키워드

large language models(대형 언어 모델)archive-grounded reasoning(아카이브-기반 추론)evidence retrieval(증거 검색)cross-document task synthesis(교차 문서 작업 합성)leakage-preventing obfuscation(누출 방지 난독화)agentic pipeline(에이전트형 파이프라인)difficulty filtering(난이도 필터링)

용어 해설

아카이브 기반 추론(Archive-Grounded Reasoning): — 고정된 내부 문서 컬렉션만을 근거로 답을 산출하는 추론 방식이다. 검색·탐색을 통해 분산된 증거를 찾아 결합한 뒤 단일 검증 가능한 답을 계산하며, 외부 웹이나 모델의 사전 지식에 의존하지 않도록 컬렉션을 고정한다.
벡터 데이터베이스(Vector DB): — 문서 청크 요약·태그를 임베딩으로 인코딩해 저장·검색하는 시스템이다. 쿼리 임베딩과 유사도 검색을 통해 관련 청크를 효율적으로 회수하여 에이전스의 근거 선택 단계에 사용된다.
교차 문서 작업 합성(Cross-Document Task Synthesis): — 여러 문서에서 연결되는 사실(bridging facts)을 검색해 그들 사이를 잇는 멀티홉 질문을 자동으로 생성하는 과정이다. 참조 해석 경로(reference reasoning path)와 검증 코드가 함께 산출되어 자동 검증이 가능하다.
누출 방지 난독화(Leakage-Preventing Obfuscation): — 문제 생성 시 질문 문장에 포함된 단어·구조가 바로 정답 증거를 검색하게 하는 'lexical/structural leakage'를 제거하기 위해 용어·엔터티를 동의어·역할명 등으로 바꿔 재작성하는 단계이다. 자동 공격 테스트로 재검증한다.
정보밀도 휴리스틱(Information-Density Heuristic): — 청크의 우선순위를 정하기 위한 휴리스틱으로, 숫자·테이블·시계열 데이터 비중을 높게 평가하고 디렉토리 목록·제목 등 불필요한 텍스트는 낮게 평가해 상위 seed 청크(도메인별 상위 100개)를 선택한다.
에이전트형 파이프라인(Agentic Pipeline): — 문서 수집·청크화→벡터 인덱싱→모델 기반 초안 생성→난독화 및 난이도 필터링→인간 검증으로 이어지는 자동화 파이프라인이다. 자동 에이전트(코덱스 등)를 중간 생성자·검증자로 활용한다.