AREX: 재귀적 자기개선을 통한 장기 심층 연구 에이전트

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

긴 호라이즌의 연구 과제는 정답을 찾는 탐색 비용이 매우 큰 반면 검증은 제약별로 분해 가능한 경우가 많아 효율적인 제어 신호가 존재한다. AREX는 이 발견-검증 비대칭을 활용하여 부분적으로 검증된 상태를 보존하고 미해결 제약만 골라 다음 라운드의 연구 목표로 전환함으로써 반복적으로 진척을 축적한다. 이 설계는 긴 상호작용 기록을 단순히 자르는 대신 의사결정에 핵심적인 정보만 압축해서 유지함으로써 장기 탐색에서 시간과 토큰 예산을 절약한다.

왜 중요한가

핵심 기여

재귀적 자기개선(Recursively Self-Improving) 연구 프레임워크 도입

AREX는 내부 연구 루프와 외부 자기개선 루프의 이중 구조를 통해 부분 검증된 해답을 보존하고 미해결 제약을 다음 라운드의 목표로 전환하는 재귀적 과정을 구현했다. 외부 루프는 답안별 신뢰도와 궤적 회수 가능성 판단에 따라 Accept, Refine, Restart를 결정하여 진척을 체계적으로 관리한다. 이 메커니즘은 초기 오류의 전이를 줄이고 탐색을 더 타깃화된 문제로 좁히는 역할을 했다.

자가 맥락 갱신(update_context) 도구로 긴 호라이즌 상태 유지

AREX는 축적된 상호작용 이력을 모델 자체가 압축해 개선 상태로 변환하는 autonomous context-update 도구를 도입했다. 갱신된 상태는 검증된 근거, 현재 후보, 미해결 제약, 거부된 후보, 다음 단계 계획을 보존하며 중복·잡음을 제거해 이후 의사결정의 효용을 높였다. 이 기제는 128K 토큰 내에서 주기적·선제적으로 호출되어 평균 25,721 토큰에서 갱신되는 행동 패턴을 보였다.

핵심 단계 중심의 다단계 학습과 단계 인지 강화학습

훈련 파이프라인은 탐색 중심과 추론 중심 데이터를 순차적으로 학습한 뒤 핵심 단계만을 선택적으로 집중 재학습하는 key-step focused supervision을 적용했다. 이후 step-aware Group Policy Optimization을 통해 단계별 이득을 정규화하고 핵심 단계에 보상 셰이핑을 더해 긴 궤적의 희소 보상 문제를 완화했다. 이 결합은 BrowseComp에서 성능 개선에 실질적 기여를 한 것으로 나타났다.

규모 대비 경쟁력 있는 모델 인스턴스와 벤치마크 검증

AREX는 Turbo(밀집 4B)와 Base(MoE 총 122B, 활성화 파라미터 10B) 두 변종을 제시하여 다수의 검색·추론·도구 사용 벤치에서 비교 실험을 수행했다. AREX-Base는 WideSearch-en 82.0, BrowseComp 82.5, DeepSearchQA 89.9 등에서 동급 대비 일관된 우위를 보였다. 이 결과는 재귀적 상태 유지와 단계 중심 학습이 규모 대비 효율을 높였음을 시사한다.

핵심 아이디어 이해하기

기존의 긴 호라이즌 연구 에이전트는 단일 연속 탐색 궤적을 길게 유지하며 추가 추론이나 도구 호출로 성능을 개선해 왔다. 그러나 초기 오류의 지속, 불필요한 경로의 재탐색, 부분적으로 유효한 후보의 조기 수용이 발생해 체계적 진척을 보장하지 못했다. AREX는 탐색 비용이 큰 발견 단계와 비교해 검증 단계가 제약별로 분해 가능한 특성에 주목했고, 이 차이를 제어 신호로 활용했다. AREX는 내부 루프로 증거를 축적하고 임시 답안을 산출한 뒤 이를 외부 루프에서 제약별로 검증해 신뢰도와 보존 가능성을 판단한다. 신뢰도가 낮을 경우 보존 가능한 정보만 골라 다음 연구 목표로 바꾸거나 궤적을 재시작함으로써 탐색 효율을 높인다.

방법론

AREX의 전체 구조는 이중 루프 설계로 요약된다. 내부 연구 루프는 현재 연구 목표를 바탕으로 검색·방문·도구 호출을 수행하고 관찰을 통합해 중간 분석과 다음 행동을 생성한다. 내부 루프는 필요한 경우 update_context를 호출해 누적 궤적을 압축된 연구 상태로 변환하고, finish 호출로 임시 답안, 근거 집합, 답안 수준 신뢰도(s)를 외부 루프로 보낸다. 외부 자기개선 루프는 수신된 구조화 결과를 신뢰도 임계값 τ와 궤적 회수 가능성 판단으로 처리해 Accept·Refine·Restart를 결정한다. Refine일 경우 보존할 정보와 미해결 문제를 추출해 새로운 타깃 목표 q^{(k+1)}로 초기 상태를 구성하고 다음 라운드를 시작한다. AREX는 이 과정이 최대 라운드 수로 제한되며, 모든 라운드에서 τ를 넘는 답안이 없으면 가장 높은 신뢰도를 갖는 답안을 반환하도록 설계되었다.

주요 결과

논문은 AREX의 두 변종을 다양한 검색·추론·도구 사용 벤치마크에서 평가했다. AREX-Base는 BrowseComp에서 82.5, GAIA에서 85.4, xbench-2510에서 71.0, DeepSearchQA에서 89.9, WideSearch-en에서 82.0, HLE(도구 포함)에서 52.4의 성능을 기록했다. 이 성과는 동일 계열의 Qwen3.5 패밀리나 몇몇 대형 모델에 비해 규모 대비 경쟁력 있는 결과를 보였고, 특히 WideSearch-en에서 최상위 성능을 달성한 점이 강조되었다. 추가 분석에서 autonomous context updating(ACU)은 내부 루프만 비교했을 때 BrowseComp 정확도를 59.6에서 71.4로 끌어올렸고, 외부 루프와 결합한 전체 시스템은 82.5로 더욱 향상되어 두 구성 요소가 상호 보완적임이 확인되었다.

기술 상세

전체 아키텍처는 계층적 에이전트 정책 π_θ와 외부 연구 환경 𝒯로 구성된다. 내부 루프는 단계별 상호작용 궤적 h_{t}^{(k)}=[(m_{i}^{(k)},a_{i}^{(k)},o_{i}^{(k)})]{i=1}^{t}을 유지하며, update_context 호출 시 z{t}^{(k)}=f_{θ}(h_{t}^{(k)})로 압축된 연구 상태를 생성한다. 여기서 z_{t}^{(k)}는 검증된 근거, 현재 후보, 미해결 제약, 거부된 후보, 다음 단계 계획을 포함하며 이후의 효과적 문맥은 bar{h}{t}^{(k)}=z{ au}^{(k)} [(m_{i}^{(k)},a_{i}^{(k)},o_{i}^{(k)})]_{i= au+1}^{t}의 형태로 사용된다. 이 설계는 전체 궤적 대신 의미 있는 개선 상태를 조건으로 삼아 후속 정책을 안정화시킨다.

한계점

논문은 몇 가지 제한을 명시적으로 언급했다. 첫째, 장기 보상 희소성 문제를 완화하기 위해 key-step 주석과 셰이핑을 사용했으나 이 방법은 주석 대상의 자동화와 일반화가 남은 과제로 제시되었다. 둘째, 시스템은 최대 라운드 수와 신뢰도 임계값 τ에 의존하므로 극단적 경우에 적절한 답을 얻지 못할 가능성이 존재한다. 셋째, training 데이터 파이프라인이 고품질 교사 궤적에 의존하므로 교사 품질과 도구 실행의 신뢰성이 전체 성능에 영향을 준다.

실무 활용

AREX의 구현체와 학습 파이프라인은 장기 웹 기반 조사, 학술 문헌 통합, 그리고 다중 제약을 검증해야 하는 자동화된 리서치 업무에 적용 가능하다. 공개된 GitHub 저장소는 모델 및 관련 코드와 실험 설정을 제공하므로 연구자와 엔지니어가 재현과 확장을 시도할 수 있다. 다만 실무 도입에서는 외부 도구 안정성, 증거 출처 신뢰성, 그리고 연산·토큰 예산 관리 문제가 함께 고려되어야 한다.

대규모 문서 기반 사실 검증 작업에서 증거별 검증 결과를 보존하고 미해결 제약만 재탐색하는 워크플로우
학술 문헌 통합을 요구하는 조사 과제에서 논문 간 증거 충돌을 분해·보존해 반복 조사 방향을 좁히는 파이프라인
검색·방문·계산 도구를 결합하는 장기 에이전트 기반 QA 시스템에서 중간 검증과 재귀적 개선을 적용한 응용
R&D 보조 도구로서 후보 가설을 기계적으로 검증하고 검증 불충분 항목만 전문가 검토에 회부하는 과정

코드 공개 여부: 공개

코드 저장소 보기

키워드

AREX(AREX)Recursive Self-Improvement(재귀적 자기개선)Autonomous Context Update(update_context)Key-step Supervision(핵심 단계 감독)Step-aware RL(단계 인지 강화학습)Discovery–Verification Asymmetry(발견-검증 비대칭)

용어 해설

Recursive Self-Improvement: — 부분적으로 검증된 해답을 보존하고 미해결 제약을 새로운 연구 목표로 전환하여 반복적으로 해결도를 높이는 프로세스를 의미한다. 이 방식은 탐색(발견) 비용이 높은 문제에서 검증을 통해 남은 불확실성만 골라 재탐색함으로써 효율성을 확보한다. AREX는 이 개념을 내·외부 루프로 구현하여 긴 연구 과정에서 누적 진척을 구조화된 상태로 유지한다.
Autonomous Context Update: — 축적된 상호작용 이력을 모델 스스로 요약·재구성하여 핵심 증거, 거부된 후보, 미해결 제약, 다음 단계 계획을 포함한 압축된 연구 상태로 변환하는 도구이다. 이 도구는 전체 대화문을 늘 조건으로 삼지 않고도 이후 결정에 필요한 정보만 보존하도록 설계되었다. AREX에서는 update_context 호출로 긴 호라이즌 연구에서 의미 있는 진행을 유지하면서 중복·잡음을 제거한다.
Discovery–Verification Asymmetry: — 정답 후보를 발견하는 과정은 넓고 희소한 탐색 공간을 요구해 비용이 큰 반면, 제안된 후보를 제약별로 검증하는 과정은 비교적 분해 가능하고 계산적으로 덜 비용이 드는 현상을 가리킨다. 이 비대칭을 활용하면 검증 결과를 제어 신호로 삼아 다음 탐색 목표를 좁힐 수 있다. AREX는 이 원리를 통해 부분 검증된 상태를 재귀적으로 개선하는 설계를 취했다.
Key-step Supervision: — 긴 궤적에서 성패를 결정하는 소수의 결정적 행동에 집중적으로 손실을 부여하는 학습 전략이다. 규칙 기반 검출기로 증거 발견, 경로 전환, 주요 context-update 등을 표지한 뒤 해당 단계만을 대상으로 강한 최적화 신호를 적용한다. AREX에서는 이 방식이 루틴 단계보다 학습 난이도가 높은 결정적 행동을 효과적으로 개선했다.