SEED: 에이전트형 강화학습을 위한 자기진화형 온-정책 증류

왜 중요한가

장기 상호작용을 요구하는 에이전트 환경에서는 에피소드 종단의 희소 보상만으로는 중간 결정의 기여도를 세밀하게 학습할 수 없다. SEED는 완료된 궤적으로부터 재사용 가능한 회고적 스킬을 추출하고 이를 토큰 수준의 밀집 지도 신호로 변환해 정책이 세부 행동 패턴을 내재화하도록 만든다. 그 결과 정책과 회고적 분석 능력이 함께 진화하며 여러 장기 과제에서 성능과 샘플 효율이 유의하게 향상되었다는 수치적 증거가 제시되었다.

핵심 기여

온-정책 self-evolving 루프를 통한 회고적 스킬 학습

논문은 동일한 정책 체크포인트를 액터와 궤적 분석기(analyzer)로 동시 활용하는 자기진화 루프를 도입했다. 이 구조에서는 업데이트된 정책이 다음 반복에서 새로운 궤적을 수집하고 동시에 더 향상된 스킬을 생성하므로 스킬 지도 신호가 정책 분포에 계속해서 맞춰진다. 이로 인해 고정된 교사나 정적 스킬 라이브러리에서 발생하는 불일치 문제가 완화되었다.

스킬 유도 로그확률 이동을 이용한 토큰 수준 온-정책 증류(Policy-synchronized OPD)

완료된 궤적에서 생성한 자연어 스킬을 원래 상호작용 히스토리에 삽입하여 동일 샘플 액션의 로그확률을 재평가한다. 스킬이 유도한 로그확률 차이를 정지 그래디언트로 취한 뒤 sigmoid(β·Δ) 게이트와 마스크를 적용해 토큰별 가중치가 있는 negative log-likelihood 형태의 OPD 손실을 구성한다. 이 손실은 outcome-based RL 손실과 함께 공동 최적화되어 스킬의 행동적 효과를 정책에 내재화한다.

SFT로 초기화된 분석기와 이후의 온-정책 반복 학습 결합

훈련 초기에 외부 분석기(논문에서는 GLM-5.2)를 이용해 오프라인 궤적으로부터 형식 검증된 스킬-레이블을 생성하고 정책을 SFT로 학습시켰다. 이후 RL 단계에서는 동일 모델이 액터와 분석기 역할을 모두 수행하도록 하여 별도 분석기 학습 없이도 스킬 생성 능력이 정책과 함께 진화한다. SFT 초기화는 이후의 self-evolving OPD 성능을 안정적으로 끌어올리는 기초를 제공했다.

광범위한 벤치마크에서의 성능·샘플 효율·일반화 검증

ALFWorld, Search-based QA, WebShop 등 텍스트·비전·웹 상호작용을 아우르는 벤치마크에서 SEED가 수치적 우위를 기록했다. 예컨대 특정 백본에서 ALFWorld 평균 성공률 91.8, Search-based QA 평균 45.7, WebShop 성공률 78.9를 달성하여 outcome-only RL과 정적 증류 방법들보다 개선을 보였다. 데이터 절감 실험에서는 60% 데이터로 GRPO의 전체 데이터 성능을 초과해 샘플 효율 향상도 입증되었다.

핵심 아이디어 이해하기

장기 상호작용 환경에서 보상은 대개 희소하고 최종 결과 수준에서만 제공되므로 개별 토큰·중간 결정에 대한 명확한 신호가 부족하다. 이로 인해 정책은 성공한 궤적의 유용한 부분이나 실패 궤적의 교정 가능한 부분을 효과적으로 식별·내재화하지 못한다. 따라서 완료된 궤적에서 추출한 회고 정보가 토큰 수준 학습 신호로 변환되어야 하는 문제가 출발점이다. SEED의 해결 원리는 완료된 궤적을 자연어 형태의 '회고적 스킬'로 요약하고, 동일 정책 체계에서 해당 스킬을 포함시키는 문맥과 원래 문맥에서 동일한 샘플 액션의 토큰별 로그확률을 재평가하는 것이다. 그 차이(스킬이 유도한 로그확률 이동)를 정지 그래디언트로 취하고 sigmoid 기반 게이트로 가중치를 매겨 토큰 수준의 온-정책 증류 손실을 만든다. 이 손실은 outcome-based RL 손실과 함께 최적화되어 스킬의 행동 효과가 정책 파라미터에 내재화된다. 이 접근의 핵심 변화점은 스킬을 배포 시점의 입력으로 남기지 않고 학습 중에만 '특권적 지도 신호'로 사용하며 동시에 스킬 생성 능력 자체를 정책과 동기화한다는 점이다. 정책 업데이트는 다음 반복에서 더 나은 궤적과 더 나은 스킬을 만들어내고, 이 스킬들은 다시 정책에 내재화되므로 정책과 스킬이 공동으로 발전하는 자기진화 루프가 형성된다. 결과적으로 희소 보상으로는 잡기 어려운 중간 결정의 기여도가 밀집 신호로 환원되어 더 빠른 학습과 향상된 일반화가 가능해졌다.

방법론

전체 접근은 두 단계로 나뉜다. 1단계는 Hindsight Skill SFT로, 오프라인으로 수집한 완료된 궤적을 외부 분석기(A_ext)를 통해 자연어 스킬로 주석화한 뒤 그 페어(x_τ, s_τ)를 이용해 정책을 supervised fine-tuning한다. 이 SFT 체크포인트는 이후 RL 단계에서 액터와 분석기 역할을 동시에 수행하는 단일 모델의 초기화값으로 사용된다. 2단계는 Self-Evolving On-Policy Distillation으로, 각 업데이트에서 동결된 이전 체크포인트 π_{θ_old}가 N개의 온-정책 궤적을 수집하고 동일 체크포인트로 각 궤적을 분석해 스킬 s_q^{(n)}을 생성한다. 그 다음 학습 중인 정책 π_θ는 동일한 샘플 액션을 원래 히스토리와 스킬 삽입 히스토리 두 문맥에서 재평가해 토큰 수준 로그확률 ℓ^{skill}과 ℓ^{θ}를 얻는다. 스킬 유도 로그확률 이동 Δ=sg[ℓ^{skill}-ℓ^{θ}]을 계산한 뒤 g = sigmoid(β_opd·Δ)로 신뢰 게이트를 구하고, 마스크 m을 곱해 OPD 손실 ℒ_opd = E[m·g·(sg[ℓ^{skill}]-ℓ^{θ})] 형태로 구성한다. 이 손실은 gradient가 학생 분기(ℓ^{θ})로만 흘러 토큰별 likelihood를 높이는 방향으로 작용하며, 최종 목적함수는 그룹 상대적 RL 손실 ℒ_rl과 가중합된 OPD 손실 ℒ_SEED = ℒ_rl + λ_opd·ℒ_opd이다.

주요 결과

주요 벤치마크에서 SEED는 outcome-only RL(예: GRPO)과 여러 정적·자체 증류 기법들을 모두 상회했다. 논문에서 제시한 표에 따르면 특정 백본 조합에서 ALFWorld 무게 평균 91.8% 성공률, Search-based QA 평균 45.7%, WebShop 성공률 78.9%를 기록했고 이는 동일 조건의 GRPO 및 정적 증류 방법보다 유의하게 높은 결과였다. 이러한 성능 우위는 텍스트 기반의 장기 행동 계획, 웹 탐색, 검색 기반 QA 등 다양한 에이전트형 과제에서 일관되게 관찰되었다. 학습 동역학에서는 초기 단계부터 성공률 곡선이 분기했고 에피소드 길이 감소 속도도 SEED 쪽이 더 빨라 학습 효율이 개선되었음이 확인되었다. 구체적으로 ALFWorld에서 40 스텝 시점에 SEED는 약 57% 성공률을 기록한 반면 GRPO는 약 35% 수준에 머물렀으며 최종적으로 SEED가 더 짧은 평균 턴수로 높은 성공을 달성했다. 데이터 절감 실험에서는 전체 데이터의 60%만 사용해도 SEED가 80.7 성공률을 달성하며 GRPO의 전체 데이터 기준 75.0을 초과하는 사례가 보고되어 샘플 효율 향상이 수치로 제시되었다. 제거 실험에서는 SFT, self-evolving OPD, 온-정책 스킬의 각 요소가 모두 성능에 기여함이 확인되었고, 특히 온-정책 스킬을 정적 라이브러리로 대체하면 평균 성능이 가장 크게 떨어져(예: ALFWorld 평균 91.8 → 84.4) 온-정책으로 스킬을 생성·내재화하는 설계의 필요성이 뒷받침되었다.

기술 상세

모델 구성은 단일 autoregressive 정책 모델을 기반으로 하며 동일 파라미터가 SFT 초기화 이후 액터와 궤적 분석기 역할을 번갈아 수행한다. SFT 단계에서는 오프라인으로 수집된 1,440개의 완료된 궤적(백본별 M=180, K0=8)을 외부 분석기(GLM-5.2)를 통해 자연어 스킬로 주석화하고 형식 검증된 쌍으로 정책을 세 에포크만큼 fine-tune했다. 이 체크포인트가 RL 단계의 초기값으로 사용되며 이후 반복에서 정책 업데이트와 동기화된 스킬 생성이 이뤄진다. OPD의 수학적 핵심은 동일 샘플 액션에 대한 두 문맥의 토큰별 로그확률 재평가이다. 기호로는 ℓ^{skill}과 ℓ^{θ}를 계산하고 Δ = sg[ℓ^{skill}-ℓ^{θ}]를 정의한다. 여기서 sg는 stop-gradient 연산으로 Δ는 상수로 취급되며 게이트는 g = σ(β_opd·Δ)로 계산된다. 예시로 Δ=1.5, β_opd=2이면 β_opd·Δ=3이고 g=σ(3)≈0.95로 높은 신뢰도를 부여한다. OPD 손실은 기대값 형태 ℒ_opd = E[m·g·(sg[ℓ^{skill}]-ℓ^{θ})]로 표현되며, ∇θ는 학생 분기(ℓ^{θ}) 쪽으로만 흘러 결과적으로 teacher가 지지한 토큰의 발생 확률을 증가시키는 방향으로 작동한다. 그룹 상대적 RL 구성요소는 같은 prompt에서 수집한 N개 궤적의 평균 μ_q와 표준편차 σ_q로 A^{rl}{q,n} = (R(τ)-μ_q)/(σ_q+ϵ)를 계산해 토큰별로 브로드캐스트한다. 토큰 수준에서의 비율 ρ(θ)=exp(ℓ^{θ}-ℓ^{old})를 이용하는 clipped surrogate 형태의 GRPO 손실과 KL 정규화 항을 포함한 ℒ_rl과 OPD 손실을 가중합해 최종 목적함수를 구성한다. 하이퍼파라미터로는 N=8 그룹 크기, 배치 크기(환경별 16/128), 업데이트 반복 150 등이 사용되었고 λ_opd, β_opd, ε_clip, β_KL 등으로 손실 균형을 조정했다.

실무 활용

공개된 구현(https://github.com/jinyangwu/SEED)을 통해 연구 프로토타입 수준의 재현이 가능하다. SEED는 기존의 outcome-only RL 파이프라인에 SFT 단계와 자체 온-정책 증류 루프를 추가하는 형태로 통합될 수 있어 에이전트의 장기 계획 역량과 샘플 효율을 개선한다. 다만 초기 SFT에서 외부 분석기를 사용해 스킬 라벨을 구축하는 과정이 필요하며 이 단계의 품질이 최종 성능에 영향을 미친다.

텍스트 기반 시뮬레이터(예: ALFWorld)에서 장기 행동 전략을 빠르게 습득해야 하는 에이전트 훈련 파이프라인
웹 네비게이션 및 상호작용 자동화에서 제한된 샘플로 성능을 끌어올려야 하는 실험적 연구
검색 도구를 활용하는 QA 에이전트의 중간 의사결정 개선 및 오류 회복 능력 강화

코드 공개 여부: 공개

코드 저장소 보기

키워드

on-policy-distillation(온-정책 증류)hindsight-learning(회고적 학습)reinforcement-learning(강화학습)skill-conditioning(스킬 조건화)sample-efficiency(샘플 효율성)

용어 해설

온-정책 증류(On-Policy Distillation): — 온-정책 증류는 학습 중인 정책 자체가 생성한 샘플을 대상으로 교사-학생 형태의 확률 재평가를 수행하여 분포 불일치를 줄이고 토큰 수준의 지도 신호를 얻는 방법이다. 본문에서는 동일한 정책 체크포인트를 교사(스킬 활용 문맥)와 학생(원래 문맥)으로 동시에 평가하여 스킬이 유도한 로그확률 변화(teacher log-prob shift)를 밀도 높은 학습 신호로 변환한다. 이 방식은 에이전트가 현재 정책 분포에서 발생하는 실패 모드와 성공 전략에 직접 맞춰 내부화된 행동 지침을 학습하게 하는 데 중요하다.
회고적 학습(힌드시트)(Hindsight Learning): — 회고적 학습은 완료된 에피소드의 전체 궤적을 바탕으로 성공·실패 원인과 재사용 가능한 전략을 추출하여 원래의 행동 결정 시점에는 없던 정보로 학습 신호를 생성하는 기법이다. 본문에서는 완료된 궤적에서 자연어 스킬을 생성해 토큰 수준의 보조 손실로 변환함으로써 희소한 최종 보상으로는 잡기 어려운 중간 결정의 기여도를 보상한다. 회고적 지식이 정책과 동기화되면 정책이 발전함에 따라 스킬도 함께 진화한다는 점이 핵심이다.
그룹 상대적 이득(Group-Relative Advantage): — 그룹 상대적 이득은 같은 작업(prompt)에서 수집한 N개의 궤적 집단의 평균과 표준편차를 이용해 각 궤적의 성과를 정규화한 스칼라 지표이다. 본문에서는 μ_q, σ_q로 집단 평균·표준편차를 계산하고 A^{rl}_{q,n} = (R( au)-μ_q)/(σ_q+ϵ)로 이득을 산정하여 토큰 수준에 브로드캐스트한다. 이 정규화는 동일한 초기 조건에서의 상대적 성능 변화를 안정적으로 학습 신호로 변환하는 역할을 한다.

SEED: 에이전트형 강화학습을 위한 자기진화형 온-정책 증류

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

온폴리시 자기 증류를 통한 AI 모델의 지속적 학습 및 성능 개선

온-폴리시 자기 증류(On-Policy Self-Distillation) 연구 및 최신 동향 분석.

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

관련 토론

댓글

관련 기사

온폴리시 자기 증류를 통한 AI 모델의 지속적 학습 및 성능 개선

온-폴리시 자기 증류(On-Policy Self-Distillation) 연구 및 최신 동향 분석.