Iris 검색 에이전트의 데이터·SFT·RL 학습법

왜 중요한가

검색 에이전트의 점수는 모델 정책뿐 아니라 긴 실행을 유지하는 Context Management에도 크게 좌우됩니다. Iris는 검색 가능한 문자열을 제거한 멀티홉 질문, 단계별 궤적 필터링, live search 기반 RL을 결합하고 컨텍스트 관리 전후를 같은 조건에서 비교해 학습된 검색 능력과 추론 시 래퍼의 효과를 분리했습니다.

핵심 기여

웹 그래프 기반 난제 생성

하이퍼링크로 연결된 웹페이지에서 엔터티 그래프와 멀티홉 추론 경로를 만들고, 정답이 아닌 엔터티를 설명형 참조로 바꿔 문자열 검색만으로 풀 수 없게 했습니다. 참조 모델이 closed-book에서는 실패하고 증거를 받으면 해결하는 질문만 남겼습니다.

궤적·턴 단위 학습 데이터 정제

ReAct 궤적을 정답성, 반복 루프, 도구 호출 깊이로 먼저 걸러낸 뒤 각 Assistant turn을 별도로 판정했습니다. 문제가 있는 turn은 대화 이력에 남기되 학습 손실에서 제외하고, 한 궤적에서 마스킹하는 turn은 최대 10%로 제한했습니다.

Live search 기반 SFT–RL climbing

SFT로 교사 궤적을 학습한 뒤 live search에서 RL을 수행하고, 각 RL 라운드에서 성공했으면서 불필요하게 길지 않은 궤적을 다음 SFT 데이터로 되돌렸습니다. 현재 정책의 성공률이 0보다 크고 1/2 이하인 질문을 골라 자기주도형 난이도 상승을 구성했습니다.

컨텍스트 관리 전후의 통제 평가

도구 세트, 컨텍스트 한도, 판정기, 최대 turn 예산을 고정하고 Context Management 없이 실행한 결과와 discard-all 또는 retry를 적용한 결과를 나눠 측정했습니다. Iris-pro는 BrowseComp에서 no-CM 72.6에서 discard-all 88.6으로 상승했고 discard-all + retry에서는 90.3에 도달했습니다.

핵심 아이디어 이해하기

일반적인 언어 모델은 파라미터에 저장된 지식만으로 질문에 답하지만, Search Agent는 질문을 검색어로 바꾸고 도구 결과에서 단서를 골라 다음 검색을 이어가야 합니다. 특히 여러 페이지의 간접 단서를 연결해야 하는 멀티홉 문제에서는 어떤 엔터티를 찾았는지, 아직 어떤 제약을 해결하지 못했는지, 언제 탐색을 끝낼지를 함께 관리해야 합니다.

방법론

논문은 먼저 웹 코퍼스를 페이지 노드와 하이퍼링크 간선으로 구성하고, 시드 페이지에서 out-link를 따라 부분 그래프를 만듭니다. LLM은 이 부분 그래프를 중요한 엔터티와 typed relation으로 압축한 뒤 최소 N개의 관계를 통과하는 정답 경로를 작성합니다. 질문에 등장하는 비정답 엔터티는 이름과 별칭 대신 고유한 설명형 참조로 치환하므로, 검색창에 고유명사를 그대로 넣어 답을 찾는 우회가 차단됩니다. 참조 모델이 질문만 보고는 틀리고 그래프 증거를 함께 받으면 정답을 내는 경우만 데이터셋에 편입합니다.

주요 결과

35B 규모의 Iris-mini는 Context Management를 켠 기본 설정에서 BrowseComp 82.2, BrowseComp-ZH 84.8, DeepSearchQA 86.9, HLE 52.3을 기록했습니다. 397B 규모의 Iris-pro는 각각 88.6, 85.1, 92.9, 56.4를 기록했으며, Iris-mini는 같은 30–35B 범위의 XYZ-Aquila-mini보다 BrowseComp에서 3.4포인트 높았습니다. Iris-pro는 약 400B 범위에서 BrowseComp와 HLE의 최고 점수, DeepSearchQA의 최고 F1을 기록했고 BrowseComp-ZH에서는 XYZ-Aquila-pro와 85.1로 같았습니다.

기술 상세

데이터 생성은 웹페이지 부분 그래프를 엔터티 그래프로 축약하고, 그래프의 멀티홉 경로가 유일하게 정답을 결정하도록 질문을 만든 뒤 비정답 엔터티를 설명형 참조로 치환하는 순서로 진행됩니다. 이후 참조 모델을 도구 없는 상태와 그래프 증거가 있는 상태에 각각 실행해, 전자에서는 오답이고 후자에서는 정답인 질문만 유지합니다. 이 절차는 파라미터 기억만으로 풀리는 쉬운 문제와 증거를 줘도 정답이 결정되지 않는 문제를 동시에 제거합니다.

교사 모델은 ReAct 형식으로 reasoning, search 또는 scrape 호출, 관찰 요약을 반복해 궤적을 만듭니다. 궤적 수준에서는 성공적인 종료와 LLM judge의 정답 판정, 반복 루프·도구 폭주·미완성 think 블록의 부재, 최소 도구 호출 깊이를 요구합니다. 반복 텍스트는 sliding-window의 zlib 압축 비율로 감지하고, turn 수준에서는 질문·정답·주변 turn을 본 judge가 keep 또는 mask를 선택하며 mask된 출력은 문맥에는 남지만 SFT 손실에서 제외됩니다.

RL에서는 live search 결과를 사내 GenRM이 정답 여부로 판정하고, 같은 클러스터의 모델이 각 검색 페이지를 query-relevant digest로 요약해 관찰을 만듭니다. 긴 rollout이 동기식 단계를 지연시키면 완료된 prefix를 캐시한 뒤 다음 단계에서 재개하고, 서로 다른 policy weight로 생성된 prefix를 truncated importance sampling으로 보정합니다. 성공률이 0보다 크고 1/2 이하인 질문에서 최소 도구 호출 깊이를 만족하는 성공 궤적 중 가장 짧은 것을 골라 다음 SFT 라운드에 넣습니다.

학습 모델은 Qwen3.6-35B-A3B에서 초기화한 Iris-mini와 Qwen3.5-397B-A17B에서 초기화한 Iris-pro이며, 두 모델은 256K-token 컨텍스트 윈도우를 사용합니다. SFT는 2 epochs, global batch size 64, 최대 시퀀스 길이 262,144 tokens로 수행하고 RL에는 Relax framework를 사용합니다. 평가에서는 각 질문에 single rollout을 실행하며, BrowseComp·BrowseComp-ZH·HLE는 accuracy, DeepSearchQA는 F1로 채점합니다.

한계점

논문은 Iris가 여전히 가장 강한 frontier 시스템과 성능 차이를 남긴다고 명시합니다. 또한 retry는 추가 검색 전체를 다시 수행하므로 점수를 높일 수 있지만 추론 비용이 크게 증가해 기본 보고 설정에서는 제외했습니다.

실무 활용

GitHub 저장소와 논문에서 검색 에이전트용 모델 및 데이터·학습·평가 파이프라인의 공개 계획이 제시됩니다. 실무에서는 여러 웹페이지의 증거를 조합해야 하는 조사형 Agent를 구성할 때, 질문 생성부터 궤적 필터링과 live search RL까지의 단계별 설계를 참고할 수 있습니다.

하이퍼링크 구조에서 멀티홉 검색 질문과 검증용 정답을 생성하는 데이터 파이프라인
ReAct Agent의 검색·페이지 수집 궤적에서 반복 루프와 불필요한 turn을 제거하는 SFT 데이터 정제
live search 환경에서 Context Management의 유무와 retry 비용을 함께 측정하는 평가 설정
BrowseComp, BrowseComp-ZH, DeepSearchQA, HLE로 장기 검색과 증거 회수 성능을 비교하는 벤치마크

코드 공개 여부: 공개

코드 저장소 보기

키워드

Iris-miniIris-proSearch Agent(검색 에이전트)Multi-hop Search(멀티홉 검색)Entity Graph(엔터티 그래프)SFT–RL climbing(반복 SFT·RL 학습)Context Management(컨텍스트 관리)BrowseComp(검색 에이전트 벤치마크)

용어 해설

멀티홉 검색(Multi-hop Search): — 여러 웹페이지에서 분산된 단서를 순차적으로 찾고 연결해 답을 도출하는 검색 방식입니다. 한 번의 검색으로 답을 얻는 대신, 중간 엔터티와 관계를 따라 여러 단계의 탐색과 증거 결합을 수행하므로 긴 상호작용을 처리하는 Search Agent 학습에 중요합니다.
엔터티 그래프(Entity Graph): — 웹페이지에서 추출한 주요 엔터티를 노드로, 엔터티 사이의 의미 관계를 연결선으로 표현한 구조입니다. 논문에서는 웹페이지와 하이퍼링크로 만든 부분 그래프를 압축해 질문의 추론 경로와 정답 엔터티를 구성하는 데 사용합니다.
ReAct 에이전트(ReAct Agent): — 언어 모델의 추론 단계와 외부 도구 호출을 번갈아 실행하는 Agent 구조입니다. Iris는 검색 또는 페이지 수집 도구를 호출하고 반환된 관찰을 바탕으로 다음 행동을 정하는 단일 ReAct Agent로 평가되며, 하위 에이전트나 테스트 시점 검증은 사용하지 않습니다.
컨텍스트 관리(Context Management): — 긴 에이전트 실행에서 대화와 도구 결과가 컨텍스트 한도를 넘지 않도록 이력을 정리하거나 검색 세션을 재시작하는 처리입니다. 논문에서는 discard-all과 retry를 적용해 동일 질문에 추가 탐색 기회를 제공하고, 모델 자체의 검색 능력과 별도로 그 효과를 측정합니다.
Mixture-of-Experts: — 모든 입력에 전체 파라미터를 적용하지 않고 여러 Expert 중 일부를 선택해 계산하는 모델 구조입니다. Iris-mini와 Iris-pro의 초기 모델은 각각 256K-token 컨텍스트 윈도우를 가진 MoE 구조를 사용하며, 두 모델의 활성화 규모는 35B-A3B와 397B-A17B로 제시됩니다.

Iris 검색 에이전트의 데이터·SFT·RL 학습법

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

에이전트 웹 검색, 엔진보다 예산과 모델 선택이 중요

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

에이전트 웹 검색, 엔진보다 예산과 모델 선택이 중요