자기 경험으로 개선하는 웹 에이전트 학습: DeepSearch‑Evolve와 검증 가능한 DeepSearch‑World 환경

DeepSearch-World와 DeepSearch-Evolve는 재현 가능한 웹 상호작용을 활용해 에이전트를 자체 데이터로 반복 강화하는 실무적 기반을 제공한다. 환경과 420K 학습 풀, 모델 및 코드를 공개하여 연구자와 개발자가 동일한 조건에서 실험을 재현하고 파이프라인을 적용해 볼 수 있게 한다. 공개 자원은 긴 대화/탐색이 필요한 애플리케이션에서 에이전트 자체 개선 전략을 시험하는 출발점이 된다.

• 연구자가 동일한 결정적 환경에서 자기 증류 파이프라인 성능을 재현하고 다른 필터링 기준이나 평가 지표를 실험하는 데 사용할 수 있다.
• 실무 팀이 장기 탐색이 필요한 도메인에서 에이전트의 실패 복구와 진행 검증 메커니즘을 검증하여 운영 안정성을 개선하는 데 활용할 수 있다.
• 데이터 과학자가 엔티티 수준 랜덤 워크 기반 태스크 생성 방식을 응용해 특정 도메인에 맞춘 멀티홉 QA 데이터 풀을 구축하고 에이전트를 파인튜닝하는 데 적용할 수 있다.

코드 공개 여부: 공개

Self-Distillation

— 자기 증류는 동일한 에이전트나 동일 계열의 모델이 자체 생성한 궤적을 교사 데이터로 사용하여 반복적으로 파인튜닝하는 기법이다. 본 논문 맥락에서는 에이전트가 생성한 웹 탐색·페이지 읽기 궤적을 선별하여 데이터 풀에 혼합하고 이를 통해 모델을 점진적으로 강하게 만든다. 이 방식은 외부의 더 강력한 교사 모델에 의존하지 않고 에이전트 스스로 성능을 향상시키는 핵심 수단이다。

Verifiable Environment

— 검증 가능한 환경은 동일한 입력에 대해 결정적이고 재현 가능한 상호작용을 제공하여 에이전트 행동의 정확성·진행·실패를 자동으로 검증할 수 있게 하는 환경이다. DeepSearch-World는 검색과 페이지 읽기 도구를 재현 가능하게 구현하여 생성된 궤적의 정합성을 확인할 수 있다. 검증 가능성은 자기 증류 과정에서 잘못된 궤적을 걸러내고 진전(progress)을 수치적으로 판단할 수 있게 한다.

Multi-hop QA

— 다중 홉 질문응답은 답을 얻기 위해 여러 문서나 페이지를 순차적으로 탐색하여 정보를 조합해야 하는 문제 유형이다. DeepSearch-World에서는 420K개의 multi-hop QA 태스크가 엔티티 수준의 랜덤 워크로 생성되어 장기적인 탐색 행동을 요구한다. 이 유형은 웹 에이전트의 장기 의사결정과 정보 누적 능력을 평가하는 데 중요하다.

Entity-Level Random Walks

— 엔티티 수준 랜덤 워크는 웹 그래프 상에서 엔티티 간 연결을 따라 무작위로 경로를 생성하여 질문과 답의 다중 홉 연결을 구성하는 방법이다. 해당 논문에서는 이 절차로부터 420K의 멀티홉 QA 태스크를 구성하여 에이전트 학습용 데이터 풀을 만들었다. 이 방식은 자연스러운 장기 탐색 경로를 대규모로 생성하는 수단으로 사용되었다.

Grounded Reflection

— 근거 기반 성찰은 에이전트가 자신의 탐색 결과와 증거를 기반으로 행동을 재평가하고 실패 원인을 식별하여 이후 행동을 수정하는 메커니즘이다. DeepSearch-World는 이러한 성찰을 자동으로 검증 가능한 형태로 지원하여 실패 복구와 진행 검증을 가능하게 한다. 성찰 메커니즘은 자기 증류 과정에서 생성된 궤적의 질을 높이는 역할을 한다.