자기 증류형 에이전트 주도 강화학습

다중 턴 LLM 에이전트에서 On-Policy Self-Distillation(OPSD)의 토큰 수준 지도가 유용하더라도, 시퀀스 길이가 늘수록 교정 신호의 불안정성, 그리고 privileged context에 대한 비대칭 신뢰 문제가 심화된다. SDAR은 OPSD를 보조적(auxiliary) 목적으로 한정하고, 토큰 수준에서 게이트를 통해 긍정 신호는 강화하고 부정 신호는 완만하게 억제한다. 이로써 RL의 정책 학습을 해치지 않으면서 privileged 지식을 정책 파라미터에 흡수하고, 모델 규모에 관계없이 안정적 성능 향상을 달성한다. ALFWorld, WebShop, Search-QA에서 GRPO 대비 일관된 개선을 보이며, 민감한 조회/정책 업데이트 시나리오에서도 강건성을 보인다.

출발점: 다중 턴 에이전트의 학습은 환경 피드백에 기반한 RL과 토큰 수준의 지도 신호를 필요로 한다. OPSD는 토큰 단위 지도를 제공하지만, multi-turn에서 교정 신호의 누적 불일치로 불안정이 커진다. 해결책으로, SDAR은 OPSD를 보조적 목적에 두고, 각 토큰이 스스로 distillation 강도를 결정하도록 하는 sigmoid 게이트를 도입한다. 토큰의 게이트 g_t는 ∆t와 ht를 기반으로 산출되며, ∆t는 Teacher와 Student 간의 로그 확률 차이이며 ht는 Student의 엔트로피다. 게이트는 로지스틱 함수로 변환되어 0~1 사이의 가중치를 주고, stop-gradient로 gradient가 게이트에 역전파되지 않게 한다. 최적화는 L(θ) = LGRPO(θ) + λ LSDAR(θ) 형태로 유지되며, LSDAR는 ∑_t g_t [log πθ(y_t|s+t) − log πθ(y_t|st)]. 이로써 RL의 정책 업데이트를 안정적으로 유지하면서, privileged context의 신호를 선택적으로 정책에 흡수한다.

문제 설정: 멀티 턴 환경에서 초기 프롬프트 x를 주고, 토큰 시퀀스 y=(y1,...,yT)를 학생 정책 πθ로 생성한다. st는 자기-컨텍스트, s+t는 privileged/context-맥락이다. 최적화는 L(θ) = LGRPO(θ) + λ LSDAR(θ). 토큰 수준 게이팅: ∆t = sg(log πθ(yt|s+t) − log πθ(yt|st)); gt = σ(β ∆t). 세 가지 게이트를 사용한다: Entropy gating(gt = σ(β ht)), Gap gating(gt = σ(β ∆t)), Soft-OR gating(gt = σ(β[1 − (1 − ht)(1 − ∆t)])). LSDAR = Agg(gt [log πθ(yt|s+t) − log πθ(yt|st)]). 알고리즘 1에 따라, G개의 Rollout, sequence-level advantage, GRPO 손실, 토큰-레벨 게이팅 계산 및 최종 파라미터 업데이트를 수행한다. 하이퍼파라미터로 λ, β를 설정하고, β의 최적값은 5.0에서 가장 좋다. 실험은 Qwen2.5/3 계열에서 ALFWorld, WebShop, Search-QA 벤치마크를 대상으로 수행한다.

주요 결과: SDAR은 GRPO 대비 우수한 성능을 보이며, 7B 모델에서 ALFWorld +9.4%, Search-QA +7.0%, WebShop-Acc +10.2%의 개선을 달성했다. OPSD 단독은 심각한 불안정을 유발했고, GRPO+OPSD의 단순 결합은 모델 규모에 따라 악화를 보일 수 있다. SDAR의 게이팅은 retrieval 품질이 낮은 경우에도 robust하게 작동하며, 저품질 Skill에서도 긍정 신호를 보존하고 부정 신호를 완화한다. Ablation 연구에서 Gap gating이 엔트로피/Soft-OR보다 우수했고, β의 최적값은 5.0, λ의 최적값은 0.01로 확인되었다. 또한 reverse KL 기반의 LSDAR가 forward KL이나 JSD보다 성능이 우수했다.

아키텍처: 정책 πθ와 privileged context s+를 분리하고, token-level gating으로 LSDAR를 계산하여 L(θ) 합산. 수식 핵심: ∆t = sg(log πθ(yt|s+t) − log πθ(yt|st)); gt = σ(β ∆t); ℓ_t = gt [log πθ(yt|s+t) − log πθ(yt|st)]. LSDAR = Agg(ℓ_t). 알고리즘은 Algorithm 1에 정리되어 있으며, 4단계(rollout, advantage, GRPO, LSDAR, 업데이트)로 구성된다. 차별점은 stop-gradient를 사용하여 gate가 보조 신호로 작동하고 RL의 업데이트 흐름을 보존한다는 점, 그리고 게이트의 세 가지 전략으로 데이터에서 유의한 토큰에만 distillation 신호를 집중한다는 점이다.