프롭라이어터리에서 오픈소스로: 에이전틱 서치에서 멀티에이전트 프로토콜 증류로 분포 격차를 해소한 MAPD

에이전틱 서치는 장기 상호작용과 검색을 결합해 지식집약적 질의를 해결하지만 최종 정답 기반의 희박한 보상은 중간 추론 단계를 효과적으로 학습시키지 못했다. MAPD는 기존의 로그잇 정합 불가와 자연어 궤적 모방의 스타일 드리프트 문제를 해결하기 위해 중간 표현으로 구조화된 프로토콜을 도입했고, 이로써 상용 교사 모델의 추론 전략을 오픈소스 학생에게 밀도 높은 토큰 수준 신호로 이전할 수 있게 되었다. 결과적으로 오프라인으로 합성한 프로토콜은 추론 시점의 추가 비용을 발생시키지 않으면서 학생 모델의 다단계 추론 성능을 유의미하게 높였다.

에이전틱 서치는 질의에 대해 다단계로 검색과 추론을 반복하면서 정답을 도출하는 구조로, 이때 중간 결정들의 올바른 학습이 최종 성능에 결정적이다. 기존의 GRPO와 같은 RL 기반 최적화는 최종 정답의 정확성만을 보상 신호로 사용하므로 긴 궤적에서 중간 단계에 대한 세밀한 신호가 부족했다. 반면 온라인 자기 증류(OPSD)는 토큰 수준의 밀도 신호를 제공할 수 있으나 상용 교사 모델의 로그잇 접근 불가와 토크나이저 불일치 때문에 직접적인 분포 정합이 불가능했다.

MAPD는 세 가지 요소를 결합하여 문제를 해결했다. 첫째, 오프라인 멀티에이전트 시스템은 질의를 분해하고 병렬 검색 및 재수행 과정을 거쳐 탐색 로그를 생성하며, 이 로그에서 Protocolizer가 구조화된 JSON 프로토콜을 합성한다. 둘째, 합성된 프로토콜은 학습 시 특권 정보(privileged information)로서 모델의 한 분기(branch)에만 입력되어 해당 분기의 다음 토큰 분포가 학생 분기의 분포와 OPSD 형태의 KL로 정합된다. 셋째, 최종 학습은 λ_OPSD·L_OPSD + L_GRPO로 정의되어 토큰 수준의 세밀한 신호와 궤적 수준의 희박한 보상을 동시에 최적화함으로써 중간 단계의 신호 부재 문제를 보완했다.

주요 실험은 Qwen3-1.7B와 Qwen3-4B를 학생 정책으로 사용하여 7개 지식집약형 QA 벤치마크에서 수행되었고 MAPD는 Qwen3-1.7B에서 평균 성공률 39.4%를, Qwen3-4B에서 44.4%를 기록했다. SDAR와 비교한 상대적 평균 향상은 각각 4.8%와 3.3%였으며 특히 다중 홉 문제에서의 상대 이득이 단일 홉보다 크게 나타났다. 추가 실험으로 OPSD 가중치 λ의 민감도가 분석되었고 λ=0.05에서 균형이 최적으로 관찰되었으며, λ가 너무 작으면 증류 신호가 소진되고 λ가 너무 크면 검색 중심의 얕은 행동으로 치우치는 현상이 발견되었다.

전체 아키텍처는 하나의 공유 파라미터 정책에 두 개의 분기를 두는 구조로 구성되었다. 입력 상태 s_t=(x,y_{<t})인 학생 분기와 특권 정보 p를 추가로 조건화한 s_t^+=(x,p,y_{<t})인 특권 분기가 존재하며, 두 분기는 동일한 모델 가중치를 공유하되 역전파는 학생 분기로만 흐른다. OPSD 손실은 각 시점에 대해 D_KL(π(⋅|s_t) ∥ π(⋅|s_t^+))로 계산되며, 이 식에서 π(⋅|·)는 다음 토큰에 대한 확률 분포를 의미하고 KL 계산은 학생 분포를 기준으로 교사 분포로 향하는 상대 엔트로피를 측정한다. 구체적으로 학생이 토큰 a에 대해 확률 0.2, 특권 분기가 0.8를 예측하면 해당 토큰 기여분 KL은 0.2·log(0.2/0.8)+...(다음 토큰들도 합산) 형태로 계산되어 역전파 신호가 생성된다.

논문은 λ_OPSD의 민감성 문제를 명확히 보고했으며, λ가 너무 크면 모델이 '검색만 수행하고 추론을 축약하는' 편향을 띄어 다중 홉 성능이 저하되었다는 한계를 포함하고 있다. 프로토콜 합성은 오프라인에서 상용 모델 호출을 필요로 하므로 초기 합성 비용과 윤리적·법적 제약(데이터 사용 관련)이 존재하며, 이 비용은 대규모 학습셋에서는 무시할 수 있으나 소규모 프로젝트에서는 부담이 될 수 있다. 또한 프로토콜의 자동화 품질은 MAS 구성과 검사 규칙에 의존하므로 다른 도메인이나 다른 검색 백엔드로 일반화할 때 추가 튜닝이 필요할 수 있다.