에이전트형 강화학습을 위한 단일 롤아웃 비동기 최적화

왜 중요한가

대형 언어모델의 후속 강화학습에서 동기식 배치 수집 방식은 롤아웃 길이 편차로 인해 GPU 자원이 유휴 상태가 되는 비효율을 초래한다. 비동기 학습은 자원 활용도를 높이지만 롤아웃 생성 시점과 학습 시점의 정책 차이로 인한 오프폴리시와 학습 불안정성이 심각한 문제로 남아 있다. 이 논문은 비동기 환경에서 실무적으로 발생하는 정책 지연과 그룹 샘플링의 구조적 불일치를 해결하여 에이전트형 작업에서 안정적으로 수천 스텝을 학습할 수 있는 방법을 제시한다.

핵심 기여

토큰 수준 직접 중요도 샘플링(DIS)과 이중측 클리핑

롤아웃 엔진에서 기록한 토큰별 로그확률을 행동 분포 대리로 사용해 확률비 r_t를 직접 계산하고 토큰 단위로 신뢰구간 [1-ϵ_ℓ, 1+ϵ_h] 밖의 토큰을 그래디언트에서 완전 마스킹했다. 이 설계는 과거 정책들을 추적하는 오버헤드를 제거하면서도 극단적 오프폴리시 토큰의 업데이트 기여를 차단해 학습 수치적 불안정을 감소시켰다. 논문 실험에서는 이 전략이 GRPO의 조합보다 더 공격적인 클리핑을 허용하며 비동기 상황에서 안정화를 가져왔다.

그룹 샘플링을 단일 롤아웃으로 대체하고 가치모델 훈련을 강화

각 프롬프트마다 하나의 롤아웃이 생성되면 즉시 학습에 반영하는 single-rollout 전략을 채택하고, 이로 인한 분산 증가를 완화하기 위해 가치모델을 정책보다 자주 갱신(K=2)하고 가치모델의 attention 파라미터를 고정한 채 MoE 투영만 미세조정했다. 이러한 Faster Value Update와 Frozen-Attention 조합은 가치추정의 잡음을 줄여 단일 롤아웃 기반 업데이트의 분산 문제를 완화했다. 대규모 사전학습으로 가치모델을 확장해 초반의 cold-start 문제를 줄이는 전략도 병행했다.

관찰 토큰을 건너뛰는 토큰 수준 GAE( Skip-Observation GAE )

에이전트 행동과 환경 피드백이 교차하는 시퀀스에서 환경이 생성한 관찰 토큰을 가치추정의 연결고리에서 배제하고, 액션의 마지막 토큰 a_{i,N}과 다음 액션의 첫 토큰 a_{i+1,0}을 연결하는 식으로 이격된 이득을 계산했다. 이 방식은 외생적 관찰 토큰이 가치예측에 전파시키는 잡음을 제거해 이득 추정의 분산을 낮추며 멀티턴 에이전트 작업에 적합한 토큰 수준 보상 흐름을 제공했다. 수식은 δ=r_t+γ V(a_{i+1,0})-V(a_{i,N}) 및 Â(a_{i,N})=δ+γλ Â(a_{i+1,0}) 형태로 구현된다.

광범위한 에이전트형 벤치마크에서의 실험적 검증 및 실제 파이프라인 적용

SWE-Bench Verified, AIME2025, BeyondAIME, HMMT, IMOAnswerBench 등 코딩·추론 중심의 에이전트형 벤치마크에서 SAO가 GRPO 및 여러 변형을 일관되게 능가했다. 특히 AIME2025에서 SAO는 97.3% 정확도를 기록했으며 SWE-Bench Verified에서는 29.8%로 GRPO 기반 대비 유의미한 상승을 보였다. 논문은 또한 SAO를 GLM-5.2(750B-A40B) 훈련 파이프라인에 실제 적용한 사례를 보고해 실무 적용 가능성을 뒷받침했다.

핵심 아이디어 이해하기

대형 언어모델을 위한 강화학습은 정책과 가치함수가 시퀀스 토큰 수준에서 상호작용하는 환경에서 동작한다. 기존의 동기식 배치 방식은 동일한 정책 스냅샷으로 다수의 롤아웃을 생성하고 배치 단위로 최적화를 수행하므로 롤아웃 길이 변동이 큰 에이전트형 작업에서 느린 롤아웃이 전체 학습을 지연시키는 병목을 만든다. 비동기 학습은 이 병목을 제거하지만 롤아웃 생성 시점과 학습 시점 사이의 정책 지연(policy lag)이 커지며, 이로 인해 오프폴리시 토큰이 학습에 유입되면 업데이트가 불안정해진다.

이 논문은 비동기 환경에서 오프폴리시와 불안정을 동시에 줄이기 위해 샘플링 단위를 그룹 단위에서 단일 롤아웃으로 전환하고, 각 토큰 수준에서 중요도 비율을 직접 계산해 규제하는 전략을 택했다. 핵심은 롤아웃 단계에서 산출된 로그확률을 행동 분포의 대리로 사용해 r_t를 계산하고, r_t가 지정한 신뢰구간을 벗어나는 토큰을 완전히 마스킹하는 방식으로 극단적 오프폴리시의 그래디언트 기여를 차단하는 것이다. 또한 단일 롤아웃은 이득 추정의 분산을 키우므로 가치모델을 정책보다 더 자주 갱신하고 가치모델의 일부 파라미터를 고정해 안정성을 확보했다.

이 접근은 그룹 평균에 의존하던 GRPO 계열과 달리 각 롤아웃을 즉시 반영해 비동기 효율을 유지하면서도 토큰 수준의 엄격한 클리핑과 보수적 가치모델 훈련을 결합해 수치적 안정성을 확보한다. 결과적으로 초기 수백 스텝에서는 DIS를 적용한 GRPO와 유사하게 출발하지만 400 스텝 이후 SAO가 더 높은 Explained Variance와 안정적인 성능 우위를 보이며 장기 훈련에서도 붕괴 없이 수렴하는 특징이 관찰된다.

방법론

SAO의 전체 설계는 비동기 롤아웃을 생성하되 각 롤아웃이 완료되는 즉시 학습 파이프라인으로 가져와 업데이트를 수행하는 single-rollout 흐름을 중심으로 한다. 그룹 단위로 여러 샘플을 모아 정규화하는 GRPO와 달리 SAO는 각 프롬프트에서 하나의 롤아웃만을 사용하므로 생성 지연으로 인한 동기화 비용이 사라지고 GPU 자원 활용률이 개선된다. 이러한 샘플링 변경에 따른 분산 증가는 가치모델의 빈번한 업데이트와 파라미터 부분 동결로 제어된다.

토큰 수준 직접 중요도 샘플링(DIS)은 핵심 알고리즘적 장치이다. 확률비는 논문 수식에 따라 r_t(θ)=exp(log π_θ(a_t|s_t) − log π_rollout(a_t|s_t))로 계산된다. 여기서 π_rollout은 롤아웃 단계에서 기록된 행동 확률의 지수 로그이며 π_θ는 현재 정책의 토큰별 확률이다. 계산 흐름은 롤아웃 로그확률을 저장한 뒤 학습 시에 현재 정책의 로그확률을 재계산해 두 값의 차를 지수화해 r_t를 얻고, 얻은 r_t가 신뢰구간 [1−ϵ_ℓ,1+ϵ_h] 밖이면 해당 토큰을 마스킹하여 그래디언트를 제거한다. 예를 들어 롤아웃 로그확률이 log 0.1≈−2.302이고 현재 정책의 로그확률이 log 0.3≈−1.204이면 r_t≈exp(1.098)≈3.00이 되어 상한을 초과할 경우 마스킹된다. 이 설계는 과거 정책들의 체계적 추적을 배제하고 계산·저장 오버헤드를 낮추는 대가로 통제된 오프폴리시 편향을 허용한다.

가치모델 학습 측면에서는 두 가지 실무적 조치가 결합된다. 첫째, Faster Value Update로 정책 업데이트당 K(논문에서는 K=2) 번의 가치모델 갱신을 수행해 가치 추정이 정책 변화 속도를 따라가도록 한다. 둘째, Frozen-Attention 전략으로 가치모델의 attention 모듈을 고정하고 MoE 투영 계층만 업데이트해 그래디언트 노름을 억제하고 수치적 안정성을 확보한다. 이와 함께 관찰 건너뛰기 GAE는 액션 토큰 사이의 가치 연결을 유지하면서 환경이 생성한 관찰 토큰의 잡음 전파를 차단한다.

훈련 파이프라인 구현 세부에서는 배치 사이즈 128, 그룹 사이즈 1, 최대 컨텍스트 길이 128k 토큰 등 장기 롤아웃을 처리하는 설정을 사용했다. 수치적으로는 정책 학습률 1×10^−6, 가치모델 학습률 5×10^−6, 토큰 클립 하한 ε_low=0.3 상한 ε_high=5.0(수학 추론 설정) 등 실제 하이퍼파라미터를 적용해 안정성과 성능을 확인했다. 코드·체크포인트 히스토리 없이 롤아웃 로그만으로 r_t를 계산하는 구조는 실무에서의 저장·추적 비용을 크게 낮추었다.

주요 결과

주요 벤치마크에서 SAO는 일관된 성능 우위를 보였다. AIME2025에서 SAO는 97.3%의 정확도를 기록했으며 BeyondAIME 74.8%, HMMT 88.3%, IMOAnswerBench 74.0%를 달성해 동일한 Qwen3-30B-A3B 기반 GRPO 변형과 비교해 우수한 결과를 나타냈다. DIS만 적용한 변형과 GRPO(w/ DIS)도 성능 향상을 보였으나 SAO 전체 구성은 가장 높은 최종 성능을 얻었다.

코딩 벤치마크인 SWE-Bench Verified에서는 베이스 모델이 23.0%인 반면 GRPO(w/ DIS)는 27.0%, SAO는 29.8%로 증가해 단일 롤아웃과 가치모델 설계의 실무적 이점이 확인되었다. 학습 동적 분석에서 표준 GRPO는 약 160 스텝 근처에서 성능 붕괴를 보였으며 GRPO에 DIS를 결합하면 붕괴가 완화되지만 SAO는 약 400 스텝 이후에도 설명분산(Explained Variance)과 안정성 측면에서 우위를 유지했다. Ablation 결과는 Faster Value Update와 Frozen-Attention이 각각 성능과 안정성에 기여하며 이러한 구성 요소를 제거하면 정확도가 하락함을 보여주었다.

온라인 학습 시뮬레이션에서 SAO는 보상 분포가 세 차례 바뀌는 상황에서도 가치기반 크리틱을 통해 보상 변화를 빠르게 추적해 정책을 재정렬했다. 반면 Running-Mean 기반의 단순 베이스라인은 과거 보상 윈도우의 관성으로 적응 지연을 보였으며 수렴 성능도 낮았다. 전반적으로 실험은 단일 롤아웃 전략과 토큰 수준의 엄격한 오프폴리시 차단이 에이전트형 작업에서 안정성과 적응력을 동시에 개선함을 입증했다.

기술 상세

전체 아키텍처는 비동기 롤아웃 생성기(rollout engine)와 중앙 학습자(learner)를 분리한 actor-learner 스타일을 기반으로 하되, 각 롤아웃이 완료되는 즉시 학습자에게 전달되어 업데이트가 이루어지는 single-rollout 흐름을 채택했다. 정책은 토큰 수준의 확률을 출력하는 autoregressive 모델이며 가치모델은 토큰 수준의 V(s) 추정을 수행하는 별도의 Critic으로 구현되어 있다. 가치모델은 MoE 구성요소를 포함하고 attention 모듈은 RL 단계에서 동결하여 수치적 안정성을 확보했다.

핵심 알고리즘적 기반은 토큰 수준 중요도 샘플링과 이중측 클리핑이다. 확률비는 r_t(θ)=exp(log π_θ(a_t|s_t) − log π_rollout(a_t|s_t))로 정의되고, 캘리브레이션 함수 f(x;ϵ_ℓ,ϵ_h)은 1−ϵ_ℓ<x<1+ϵ_h일 때 x를 통과시키고 그렇지 않으면 0으로 마스킹한다. 변수 의미는 π_rollout이 롤아웃 시 기록된 행동 확률, π_θ가 현재 정책 확률이며 계산 흐름은 롤아웃 로그를 저장한 뒤 학습 시 현재 정책 로그를 빼고 지수를 취해 r_t를 계산하고 f에 따라 토큰을 필터링하는 것이다. 수치적 예로 롤아웃 확률 0.1, 현재 정책 확률 0.3이면 r_t≈3.0으로 상한을 초과하면 해당 토큰의 그래디언트가 차단된다.

가치추정 관련 상세는 Faster Value Update와 Skip-Observation GAE로 구성된다. Faster Value Update는 정책 업데이트당 K=2의 가치모델 업데이트를 수행해 가치추정이 정책 변화에 빠르게 적응하도록 설계되었고, Skip-Observation GAE는 시퀀스 구조 [a_0,o_0,a_1,o_1,...]에서 관찰 토큰 o_i를 가치연결에서 건너뛰고 액션 토큰 간의 이득을 정의해 외생적 관찰의 잡음 전파를 차단한다. 관련 수식은 δ=r_t+γ V(a_{i+1,0})−V(a_{i,N})와 Â(a_{i,N})=δ+γλ Â(a_{i+1,0}) 형태로 구체화되어 있다.

실험·훈련 세부사항은 논문에 기술된 하이퍼파라미터를 따른다. 수학 추론(TIR) 설정에서 정책 학습률은 1×10^−6, 가치모델 학습률은 5×10^−6, 토큰 클립은 ε_low=0.3, ε_high=5.0으로 설정했고 배치 크기 128, 그룹 크기 1, 최대 길이 128k 토큰을 사용했다. 코딩 에이전트 설정에서는 ε_low=0.8, ε_high=3.0을 사용했으며 가치모델의 K=2 업데이트 및 10스텝 워밍업 등이 적용되어 실험 결과 재현을 위한 구체적 조건을 제공한다.

Prior work 대비 차별점은 비동기 환경에서 과거 정책 히스토리를 추적하지 않고 롤아웃 로그만으로 토큰 수준의 오프폴리시 보정을 수행한다는 점이다. 이는 GRPO 계열이 그룹 평균에 의존해 동기화 장벽을 만들고 스테일니스 문제를 유발하는 구조적 한계를 극복하면서도 계산·저장 오버헤드를 현저히 낮춘다. 실험에서 제시된 설명분산, 크리틱 그래디언트 노름, 토큰 클립 비율 등의 지표는 이러한 설계가 안정성과 성능 측면에서 실효성이 있음을 보여준다.

실무 활용

SAO는 비동기 환경에서 발생하는 롤아웃 지연 문제를 완화하면서도 안정적인 정책 최적화를 가능하게 하므로 대화형 에이전트, 툴 사용형 추론, 온라인 적응이 필요한 시스템에서 적용 가능성이 높다. 실제로 논문에서는 GLM-5.2(750B-A40B) 학습 파이프라인에 SAO를 적용한 사례를 제시해 대규모 실무환경에도 적용 가능한 방법임을 시사했다. 다만 코드 저장소는 제공되지 않아 재현을 위해서는 논문에 명시된 하이퍼파라미터와 엔지니어링 디테일을 그대로 재구성해야 한다.

대화형 에이전트의 지속적 온라인 미세조정으로 사용자 선호가 시간이 지남에 따라 변하는 서비스에 빠르게 적응시킬 때
LLM 기반 툴 통합(예: 코드 실행 도구) 환경에서 긴 롤아웃 길이로 인한 동기화 병목을 피하면서 안정적으로 정책을 개선할 때
대규모 분산 추론 인프라에서 GPU 활용률을 높이면서 오프폴리시로 인한 학습 붕괴를 방지해야 하는 훈련 파이프라인 운영

코드 공개 여부: 미확인

키워드

asynchronous RL(비동기 강화학습)single-rollout(단일 롤아웃 샘플링)GRPO(GRPO 그룹 기반 최적화)token-level clipping(토큰 수준 클리핑)

용어 해설

단일 롤아웃 샘플링(Single-Rollout): — 각 프롬프트마다 하나의 롤아웃을 즉시 학습에 반영하는 샘플링 방식으로, 그룹 단위로 여러 샘플을 모아 평균화하는 대신 생성 완료 즉시 업데이트를 수행하여 비동기 환경에서 GPU 활용도를 높이고 지연으로 인한 동기화 병목을 회피한다.
그룹 단위 샘플링(Group-wise Sampling): — 하나의 프롬프트에 대해 여러 응답을 생성하여 그룹 수준에서 이득을 추정하거나 정규화하는 방식으로, 동기적 업데이트에서는 분산 감소 효과가 있으나 비동기 환경에서는 느린 롤아웃 때문에 오프폴리시 편향과 정책 지연을 유발할 수 있다.
토큰 수준 중요도 샘플링(Token-level Importance Sampling): — 롤아웃 시 기록된 토큰별 로그확률을 행동 분포의 대리로 사용해 현재 정책과의 확률비(r_t)를 계산하고, 이 값을 기준으로 토큰별로 그래디언트 신뢰 구간을 제한하거나 마스킹해 오프폴리시 업데이트 영향을 국소적으로 제어하는 기법이다.
관찰 건너뛰기 GAE(Skip-Observation GAE): — 에이전트와 환경 피드백이 교차하는 토큰열에서 환경이 생성한 관찰 토큰을 가치 추정에서 건너뛰고 액션 토큰 간의 시차를 연결하여 잡음 전파를 줄이는 GAE 변형으로, 에이전트 행동의 가치 추정이 외생적 관찰 토큰에 의해 오염되는 것을 방지한다.

에이전트형 강화학습을 위한 단일 롤아웃 비동기 최적화

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

관련 토론

댓글

관련 피드