자기 경험으로 개선하는 웹 에이전트 학습: DeepSearch‑Evolve와 검증 가능한 DeepSearch‑World 환경

왜 중요한가

웹 기반 도구를 활용하는 장기 탐색 에이전트는 교사로부터 고정된 궤적을 학습하는 방식이나 보상이 희박한 강화학습만으로는 지속적으로 개선되기 어렵다는 한계를 보여 왔다. DeepSearch-World는 결정적이고 검증 가능한 상호작용을 제공하여 에이전트가 자신이 생성한 행동을 객관적으로 검증하고 실패를 복구하며 근거에 기반해 성찰할 수 있게 만들었다. 이 구조는 외부 고성능 모델의 증류 없이도 대규모 자체 데이터로 에이전트를 반복적으로 강화할 수 있다는 점에서 장기 웹 작업에서의 자가 개선 가능성을 실용적으로 확장했다.

핵심 기여

검증 가능하고 재현 가능한 웹 환경으로서의 DeepSearch-World

DeepSearch-World는 검색과 페이지 읽기 도구를 결정적 방식으로 구현하여 동일한 입력에 대해 재현 가능한 상호작용을 보장한다. 이 환경은 엔티티 수준 랜덤 워크로 생성된 420K개의 멀티홉 QA 태스크를 포함하여 장기 탐색 행동을 요구하는 데이터 풀을 제공한다. 환경은 진행 검증(progress verification), 근거 기반 성찰(grounded reflection), 실패 복구(failure recovery) 같은 에이전트적 인지 행동을 지원하여 자기 증류 루프의 신뢰성을 높였다.

자가 증류 기반 학습 파이프라인 DeepSearch-Evolve

DeepSearch-Evolve는 궤적 생성, 필터링, 데이터 혼합, 파인튜닝을 반복하는 자기 증류 프레임워크이다. 이 파이프라인은 에이전트 자신의 행동으로부터 유용한 학습 신호를 추출하고, 품질 기준에 따라 생성 궤적을 선별해 학습 데이터 풀에 통합한다. 반복적 적용을 통해 외부 교사 모델로부터의 증류 없이도 에이전트 성능을 점진적으로 향상시킬 수 있게 설계되었다.

에이전트적 인지 행동을 통한 견고성 확보

논문은 진행 검증, 근거 기반 성찰, 실패 복구와 같은 에이전트 능력을 통합하여 장기 상호작용에서의 오류 누적을 방지하는 방법을 제시한다. 이러한 능력은 생성된 궤적의 정합성을 자동으로 판단하고 잘못된 행동을 수정하는 데 사용되며 자기 증류 과정의 데이터 품질을 개선한다. 결과적으로 장기 웹 작업에서의 안정적인 정책 개선이 가능해졌다.

교사 증류 없이 달성한 실험적 경쟁력과 공개 자원

DeepSearch-World-9B는 더 강력한 모델로부터의 증류 없이도 공개된 오픈 소스 에이전트들과 비교해 경쟁력 있는 성능을 보였다. 구체적으로 BrowseComp 31.2%, GAIA 61.5%, HotpotQA 93.4%라는 벤치마크 수치를 보고하였다. 논문은 환경, 420K 학습 풀, 검증 세트, 모델과 코드의 공개를 통해 다른 연구자가 자기 개선 에이전트를 재현하고 확장할 수 있도록 했다.

핵심 아이디어 이해하기

장기 웹 탐색 과제는 여러 단계에 걸쳐 검색과 문서 독해를 조합해야 하며, 기존의 감독 학습은 고정된 교사 궤적에 의존하고 강화학습은 보상이 희박한 상황에서 유효한 신호를 얻기 어렵다. 이 문제는 장기 행동의 정합성을 검증하고 실패 원인을 규명할 수 있는 환경과 데이터가 부족하기 때문에 발생한다. 따라서 자기 생성 궤적을 신뢰성 있게 평가하고 유용한 부분만 학습 데이터로 환원하는 메커니즘이 필요하다.

방법론

DeepSearch-Evolve는 반복적 자기 증류 루프를 구성하여 에이전트가 생성한 궤적을 학습 자원으로 전환한다. 루프는 에이전트가 환경에서 궤적을 생성한 뒤 품질 기준으로 필터링하고 선별된 궤적을 기존 데이터와 혼합하여 파인튜닝하는 과정을 순환한다. 이 과정에서 DeepSearch-World의 결정적 도구와 진행 검증 메커니즘이 궤적의 재현성과 정합성을 보장하여 잘못된 신호가 학습에 유입되는 것을 줄인다.

주요 결과

논문은 자기 증류만으로 학습된 DeepSearch-World-9B가 여러 벤치마크에서 경쟁력 있는 성능을 보였음을 보고했다. 구체적인 수치는 BrowseComp에서 31.2%, GAIA에서 61.5%, HotpotQA에서 93.4%였다. 저자들은 이러한 결과가 검증 가능한 환경과 대규모 멀티홉 QA 풀을 통해 외부 교사 모델 없이도 장기 웹 에이전트의 확장 가능한 자기 개선이 가능함을 시사한다고 밝혔다.

기술 상세

전체 시스템은 결정적 검색과 페이지 읽기 도구를 포함한 환경(DeepSearch-World)과 그 위에서 반복 학습을 수행하는 프레임워크(DeepSearch-Evolve)로 구성된다. 환경은 동일한 입력에 대해 재현 가능한 로그와 증거를 제공하여 궤적의 정합성 검증을 가능하게 하고, 이러한 증거 기반의 검증은 학습 데이터 선별 단계에서 핵심 역할을 한다. 에이전트는 생성한 행동을 환경 증거와 대조하면서 진행 검증 및 근거 기반 성찰을 수행하여 실패를 진단하고 수정 기회를 확보한다.

실무 활용

DeepSearch-World와 DeepSearch-Evolve는 재현 가능한 웹 상호작용을 활용해 에이전트를 자체 데이터로 반복 강화하는 실무적 기반을 제공한다. 환경과 420K 학습 풀, 모델 및 코드를 공개하여 연구자와 개발자가 동일한 조건에서 실험을 재현하고 파이프라인을 적용해 볼 수 있게 한다. 공개 자원은 긴 대화/탐색이 필요한 애플리케이션에서 에이전트 자체 개선 전략을 시험하는 출발점이 된다.

연구자가 동일한 결정적 환경에서 자기 증류 파이프라인 성능을 재현하고 다른 필터링 기준이나 평가 지표를 실험하는 데 사용할 수 있다.
실무 팀이 장기 탐색이 필요한 도메인에서 에이전트의 실패 복구와 진행 검증 메커니즘을 검증하여 운영 안정성을 개선하는 데 활용할 수 있다.
데이터 과학자가 엔티티 수준 랜덤 워크 기반 태스크 생성 방식을 응용해 특정 도메인에 맞춘 멀티홉 QA 데이터 풀을 구축하고 에이전트를 파인튜닝하는 데 적용할 수 있다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

self-distillation(자기 증류)web agent(웹 에이전트)multi-hop QA(다중 홉 질문응답)verifiable environment(검증 가능한 환경)trajectory filtering(궤적 필터링)fine-tuning(파인튜닝)

용어 해설

자기 증류(Self-Distillation): — 자기 증류는 동일한 에이전트나 동일 계열의 모델이 자체 생성한 궤적을 교사 데이터로 사용하여 반복적으로 파인튜닝하는 기법이다. 본 논문 맥락에서는 에이전트가 생성한 웹 탐색·페이지 읽기 궤적을 선별하여 데이터 풀에 혼합하고 이를 통해 모델을 점진적으로 강하게 만든다. 이 방식은 외부의 더 강력한 교사 모델에 의존하지 않고 에이전트 스스로 성능을 향상시키는 핵심 수단이다。
검증 가능한 환경(Verifiable Environment): — 검증 가능한 환경은 동일한 입력에 대해 결정적이고 재현 가능한 상호작용을 제공하여 에이전트 행동의 정확성·진행·실패를 자동으로 검증할 수 있게 하는 환경이다. DeepSearch-World는 검색과 페이지 읽기 도구를 재현 가능하게 구현하여 생성된 궤적의 정합성을 확인할 수 있다. 검증 가능성은 자기 증류 과정에서 잘못된 궤적을 걸러내고 진전(progress)을 수치적으로 판단할 수 있게 한다.
다중 홉 질문응답(Multi-hop QA): — 다중 홉 질문응답은 답을 얻기 위해 여러 문서나 페이지를 순차적으로 탐색하여 정보를 조합해야 하는 문제 유형이다. DeepSearch-World에서는 420K개의 multi-hop QA 태스크가 엔티티 수준의 랜덤 워크로 생성되어 장기적인 탐색 행동을 요구한다. 이 유형은 웹 에이전트의 장기 의사결정과 정보 누적 능력을 평가하는 데 중요하다.
엔티티 수준 랜덤 워크(Entity-Level Random Walks): — 엔티티 수준 랜덤 워크는 웹 그래프 상에서 엔티티 간 연결을 따라 무작위로 경로를 생성하여 질문과 답의 다중 홉 연결을 구성하는 방법이다. 해당 논문에서는 이 절차로부터 420K의 멀티홉 QA 태스크를 구성하여 에이전트 학습용 데이터 풀을 만들었다. 이 방식은 자연스러운 장기 탐색 경로를 대규모로 생성하는 수단으로 사용되었다.
근거 기반 성찰(Grounded Reflection): — 근거 기반 성찰은 에이전트가 자신의 탐색 결과와 증거를 기반으로 행동을 재평가하고 실패 원인을 식별하여 이후 행동을 수정하는 메커니즘이다. DeepSearch-World는 이러한 성찰을 자동으로 검증 가능한 형태로 지원하여 실패 복구와 진행 검증을 가능하게 한다. 성찰 메커니즘은 자기 증류 과정에서 생성된 궤적의 질을 높이는 역할을 한다.

자기 경험으로 개선하는 웹 에이전트 학습: DeepSearch‑Evolve와 검증 가능한 DeepSearch‑World 환경

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

Iris 검색 에이전트의 데이터·SFT·RL 학습법

에이전트 메모리는 모델 역량에 맞춰 투입량을 조절해야 한다.

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

관련 토론

댓글

관련 기사

Iris 검색 에이전트의 데이터·SFT·RL 학습법

에이전트 메모리는 모델 역량에 맞춰 투입량을 조절해야 한다.