SEED: 에이전트형 강화학습을 위한 자기진화형 온-정책 증류

장기 상호작용을 요구하는 에이전트 환경에서는 에피소드 종단의 희소 보상만으로는 중간 결정의 기여도를 세밀하게 학습할 수 없다. SEED는 완료된 궤적으로부터 재사용 가능한 회고적 스킬을 추출하고 이를 토큰 수준의 밀집 지도 신호로 변환해 정책이 세부 행동 패턴을 내재화하도록 만든다. 그 결과 정책과 회고적 분석 능력이 함께 진화하며 여러 장기 과제에서 성능과 샘플 효율이 유의하게 향상되었다는 수치적 증거가 제시되었다.

장기 상호작용 환경에서 보상은 대개 희소하고 최종 결과 수준에서만 제공되므로 개별 토큰·중간 결정에 대한 명확한 신호가 부족하다. 이로 인해 정책은 성공한 궤적의 유용한 부분이나 실패 궤적의 교정 가능한 부분을 효과적으로 식별·내재화하지 못한다. 따라서 완료된 궤적에서 추출한 회고 정보가 토큰 수준 학습 신호로 변환되어야 하는 문제가 출발점이다. SEED의 해결 원리는 완료된 궤적을 자연어 형태의 '회고적 스킬'로 요약하고, 동일 정책 체계에서 해당 스킬을 포함시키는 문맥과 원래 문맥에서 동일한 샘플 액션의 토큰별 로그확률을 재평가하는 것이다. 그 차이(스킬이 유도한 로그확률 이동)를 정지 그래디언트로 취하고 sigmoid 기반 게이트로 가중치를 매겨 토큰 수준의 온-정책 증류 손실을 만든다. 이 손실은 outcome-based RL 손실과 함께 최적화되어 스킬의 행동 효과가 정책 파라미터에 내재화된다. 이 접근의 핵심 변화점은 스킬을 배포 시점의 입력으로 남기지 않고 학습 중에만 '특권적 지도 신호'로 사용하며 동시에 스킬 생성 능력 자체를 정책과 동기화한다는 점이다. 정책 업데이트는 다음 반복에서 더 나은 궤적과 더 나은 스킬을 만들어내고, 이 스킬들은 다시 정책에 내재화되므로 정책과 스킬이 공동으로 발전하는 자기진화 루프가 형성된다. 결과적으로 희소 보상으로는 잡기 어려운 중간 결정의 기여도가 밀집 신호로 환원되어 더 빠른 학습과 향상된 일반화가 가능해졌다.

전체 접근은 두 단계로 나뉜다. 1단계는 Hindsight Skill SFT로, 오프라인으로 수집한 완료된 궤적을 외부 분석기(A_ext)를 통해 자연어 스킬로 주석화한 뒤 그 페어(x_τ, s_τ)를 이용해 정책을 supervised fine-tuning한다. 이 SFT 체크포인트는 이후 RL 단계에서 액터와 분석기 역할을 동시에 수행하는 단일 모델의 초기화값으로 사용된다. 2단계는 Self-Evolving On-Policy Distillation으로, 각 업데이트에서 동결된 이전 체크포인트 π_{θ_old}가 N개의 온-정책 궤적을 수집하고 동일 체크포인트로 각 궤적을 분석해 스킬 s_q^{(n)}을 생성한다. 그 다음 학습 중인 정책 π_θ는 동일한 샘플 액션을 원래 히스토리와 스킬 삽입 히스토리 두 문맥에서 재평가해 토큰 수준 로그확률 ℓ^{skill}과 ℓ^{θ}를 얻는다. 스킬 유도 로그확률 이동 Δ=sg[ℓ^{skill}-ℓ^{θ}]을 계산한 뒤 g = sigmoid(β_opd·Δ)로 신뢰 게이트를 구하고, 마스크 m을 곱해 OPD 손실 ℒ_opd = E[m·g·(sg[ℓ^{skill}]-ℓ^{θ})] 형태로 구성한다. 이 손실은 gradient가 학생 분기(ℓ^{θ})로만 흘러 토큰별 likelihood를 높이는 방향으로 작용하며, 최종 목적함수는 그룹 상대적 RL 손실 ℒ_rl과 가중합된 OPD 손실 ℒ_SEED = ℒ_rl + λ_opd·ℒ_opd이다.

주요 벤치마크에서 SEED는 outcome-only RL(예: GRPO)과 여러 정적·자체 증류 기법들을 모두 상회했다. 논문에서 제시한 표에 따르면 특정 백본 조합에서 ALFWorld 무게 평균 91.8% 성공률, Search-based QA 평균 45.7%, WebShop 성공률 78.9%를 기록했고 이는 동일 조건의 GRPO 및 정적 증류 방법보다 유의하게 높은 결과였다. 이러한 성능 우위는 텍스트 기반의 장기 행동 계획, 웹 탐색, 검색 기반 QA 등 다양한 에이전트형 과제에서 일관되게 관찰되었다. 학습 동역학에서는 초기 단계부터 성공률 곡선이 분기했고 에피소드 길이 감소 속도도 SEED 쪽이 더 빨라 학습 효율이 개선되었음이 확인되었다. 구체적으로 ALFWorld에서 40 스텝 시점에 SEED는 약 57% 성공률을 기록한 반면 GRPO는 약 35% 수준에 머물렀으며 최종적으로 SEED가 더 짧은 평균 턴수로 높은 성공을 달성했다. 데이터 절감 실험에서는 전체 데이터의 60%만 사용해도 SEED가 80.7 성공률을 달성하며 GRPO의 전체 데이터 기준 75.0을 초과하는 사례가 보고되어 샘플 효율 향상이 수치로 제시되었다. 제거 실험에서는 SFT, self-evolving OPD, 온-정책 스킬의 각 요소가 모두 성능에 기여함이 확인되었고, 특히 온-정책 스킬을 정적 라이브러리로 대체하면 평균 성능이 가장 크게 떨어져(예: ALFWorld 평균 91.8 → 84.4) 온-정책으로 스킬을 생성·내재화하는 설계의 필요성이 뒷받침되었다.

모델 구성은 단일 autoregressive 정책 모델을 기반으로 하며 동일 파라미터가 SFT 초기화 이후 액터와 궤적 분석기 역할을 번갈아 수행한다. SFT 단계에서는 오프라인으로 수집된 1,440개의 완료된 궤적(백본별 M=180, K0=8)을 외부 분석기(GLM-5.2)를 통해 자연어 스킬로 주석화하고 형식 검증된 쌍으로 정책을 세 에포크만큼 fine-tune했다. 이 체크포인트가 RL 단계의 초기값으로 사용되며 이후 반복에서 정책 업데이트와 동기화된 스킬 생성이 이뤄진다. OPD의 수학적 핵심은 동일 샘플 액션에 대한 두 문맥의 토큰별 로그확률 재평가이다. 기호로는 ℓ^{skill}과 ℓ^{θ}를 계산하고 Δ = sg[ℓ^{skill}-ℓ^{θ}]를 정의한다. 여기서 sg는 stop-gradient 연산으로 Δ는 상수로 취급되며 게이트는 g = σ(β_opd·Δ)로 계산된다. 예시로 Δ=1.5, β_opd=2이면 β_opd·Δ=3이고 g=σ(3)≈0.95로 높은 신뢰도를 부여한다. OPD 손실은 기대값 형태 ℒ_opd = E[m·g·(sg[ℓ^{skill}]-ℓ^{θ})]로 표현되며, ∇θ는 학생 분기(ℓ^{θ}) 쪽으로만 흘러 결과적으로 teacher가 지지한 토큰의 발생 확률을 증가시키는 방향으로 작동한다. 그룹 상대적 RL 구성요소는 같은 prompt에서 수집한 N개 궤적의 평균 μ_q와 표준편차 σ_q로 A^{rl}{q,n} = (R(τ)-μ_q)/(σ_q+ϵ)를 계산해 토큰별로 브로드캐스트한다. 토큰 수준에서의 비율 ρ(θ)=exp(ℓ^{θ}-ℓ^{old})를 이용하는 clipped surrogate 형태의 GRPO 손실과 KL 정규화 항을 포함한 ℒ_rl과 OPD 손실을 가중합해 최종 목적함수를 구성한다. 하이퍼파라미터로는 N=8 그룹 크기, 배치 크기(환경별 16/128), 업데이트 반복 150 등이 사용되었고 λ_opd, β_opd, ε_clip, β_KL 등으로 손실 균형을 조정했다.