에이전트형 강화학습을 위한 단일 롤아웃 비동기 최적화

대형 언어모델의 후속 강화학습에서 동기식 배치 수집 방식은 롤아웃 길이 편차로 인해 GPU 자원이 유휴 상태가 되는 비효율을 초래한다. 비동기 학습은 자원 활용도를 높이지만 롤아웃 생성 시점과 학습 시점의 정책 차이로 인한 오프폴리시와 학습 불안정성이 심각한 문제로 남아 있다. 이 논문은 비동기 환경에서 실무적으로 발생하는 정책 지연과 그룹 샘플링의 구조적 불일치를 해결하여 에이전트형 작업에서 안정적으로 수천 스텝을 학습할 수 있는 방법을 제시한다.

대형 언어모델을 위한 강화학습은 정책과 가치함수가 시퀀스 토큰 수준에서 상호작용하는 환경에서 동작한다. 기존의 동기식 배치 방식은 동일한 정책 스냅샷으로 다수의 롤아웃을 생성하고 배치 단위로 최적화를 수행하므로 롤아웃 길이 변동이 큰 에이전트형 작업에서 느린 롤아웃이 전체 학습을 지연시키는 병목을 만든다. 비동기 학습은 이 병목을 제거하지만 롤아웃 생성 시점과 학습 시점 사이의 정책 지연(policy lag)이 커지며, 이로 인해 오프폴리시 토큰이 학습에 유입되면 업데이트가 불안정해진다.

이 논문은 비동기 환경에서 오프폴리시와 불안정을 동시에 줄이기 위해 샘플링 단위를 그룹 단위에서 단일 롤아웃으로 전환하고, 각 토큰 수준에서 중요도 비율을 직접 계산해 규제하는 전략을 택했다. 핵심은 롤아웃 단계에서 산출된 로그확률을 행동 분포의 대리로 사용해 r_t를 계산하고, r_t가 지정한 신뢰구간을 벗어나는 토큰을 완전히 마스킹하는 방식으로 극단적 오프폴리시의 그래디언트 기여를 차단하는 것이다. 또한 단일 롤아웃은 이득 추정의 분산을 키우므로 가치모델을 정책보다 더 자주 갱신하고 가치모델의 일부 파라미터를 고정해 안정성을 확보했다.

이 접근은 그룹 평균에 의존하던 GRPO 계열과 달리 각 롤아웃을 즉시 반영해 비동기 효율을 유지하면서도 토큰 수준의 엄격한 클리핑과 보수적 가치모델 훈련을 결합해 수치적 안정성을 확보한다. 결과적으로 초기 수백 스텝에서는 DIS를 적용한 GRPO와 유사하게 출발하지만 400 스텝 이후 SAO가 더 높은 Explained Variance와 안정적인 성능 우위를 보이며 장기 훈련에서도 붕괴 없이 수렴하는 특징이 관찰된다.

SAO의 전체 설계는 비동기 롤아웃을 생성하되 각 롤아웃이 완료되는 즉시 학습 파이프라인으로 가져와 업데이트를 수행하는 single-rollout 흐름을 중심으로 한다. 그룹 단위로 여러 샘플을 모아 정규화하는 GRPO와 달리 SAO는 각 프롬프트에서 하나의 롤아웃만을 사용하므로 생성 지연으로 인한 동기화 비용이 사라지고 GPU 자원 활용률이 개선된다. 이러한 샘플링 변경에 따른 분산 증가는 가치모델의 빈번한 업데이트와 파라미터 부분 동결로 제어된다.

토큰 수준 직접 중요도 샘플링(DIS)은 핵심 알고리즘적 장치이다. 확률비는 논문 수식에 따라 r_t(θ)=exp(log π_θ(a_t|s_t) − log π_rollout(a_t|s_t))로 계산된다. 여기서 π_rollout은 롤아웃 단계에서 기록된 행동 확률의 지수 로그이며 π_θ는 현재 정책의 토큰별 확률이다. 계산 흐름은 롤아웃 로그확률을 저장한 뒤 학습 시에 현재 정책의 로그확률을 재계산해 두 값의 차를 지수화해 r_t를 얻고, 얻은 r_t가 신뢰구간 [1−ϵ_ℓ,1+ϵ_h] 밖이면 해당 토큰을 마스킹하여 그래디언트를 제거한다. 예를 들어 롤아웃 로그확률이 log 0.1≈−2.302이고 현재 정책의 로그확률이 log 0.3≈−1.204이면 r_t≈exp(1.098)≈3.00이 되어 상한을 초과할 경우 마스킹된다. 이 설계는 과거 정책들의 체계적 추적을 배제하고 계산·저장 오버헤드를 낮추는 대가로 통제된 오프폴리시 편향을 허용한다.

가치모델 학습 측면에서는 두 가지 실무적 조치가 결합된다. 첫째, Faster Value Update로 정책 업데이트당 K(논문에서는 K=2) 번의 가치모델 갱신을 수행해 가치 추정이 정책 변화 속도를 따라가도록 한다. 둘째, Frozen-Attention 전략으로 가치모델의 attention 모듈을 고정하고 MoE 투영 계층만 업데이트해 그래디언트 노름을 억제하고 수치적 안정성을 확보한다. 이와 함께 관찰 건너뛰기 GAE는 액션 토큰 사이의 가치 연결을 유지하면서 환경이 생성한 관찰 토큰의 잡음 전파를 차단한다.

훈련 파이프라인 구현 세부에서는 배치 사이즈 128, 그룹 사이즈 1, 최대 컨텍스트 길이 128k 토큰 등 장기 롤아웃을 처리하는 설정을 사용했다. 수치적으로는 정책 학습률 1×10^−6, 가치모델 학습률 5×10^−6, 토큰 클립 하한 ε_low=0.3 상한 ε_high=5.0(수학 추론 설정) 등 실제 하이퍼파라미터를 적용해 안정성과 성능을 확인했다. 코드·체크포인트 히스토리 없이 롤아웃 로그만으로 r_t를 계산하는 구조는 실무에서의 저장·추적 비용을 크게 낮추었다.

주요 벤치마크에서 SAO는 일관된 성능 우위를 보였다. AIME2025에서 SAO는 97.3%의 정확도를 기록했으며 BeyondAIME 74.8%, HMMT 88.3%, IMOAnswerBench 74.0%를 달성해 동일한 Qwen3-30B-A3B 기반 GRPO 변형과 비교해 우수한 결과를 나타냈다. DIS만 적용한 변형과 GRPO(w/ DIS)도 성능 향상을 보였으나 SAO 전체 구성은 가장 높은 최종 성능을 얻었다.

코딩 벤치마크인 SWE-Bench Verified에서는 베이스 모델이 23.0%인 반면 GRPO(w/ DIS)는 27.0%, SAO는 29.8%로 증가해 단일 롤아웃과 가치모델 설계의 실무적 이점이 확인되었다. 학습 동적 분석에서 표준 GRPO는 약 160 스텝 근처에서 성능 붕괴를 보였으며 GRPO에 DIS를 결합하면 붕괴가 완화되지만 SAO는 약 400 스텝 이후에도 설명분산(Explained Variance)과 안정성 측면에서 우위를 유지했다. Ablation 결과는 Faster Value Update와 Frozen-Attention이 각각 성능과 안정성에 기여하며 이러한 구성 요소를 제거하면 정확도가 하락함을 보여주었다.

온라인 학습 시뮬레이션에서 SAO는 보상 분포가 세 차례 바뀌는 상황에서도 가치기반 크리틱을 통해 보상 변화를 빠르게 추적해 정책을 재정렬했다. 반면 Running-Mean 기반의 단순 베이스라인은 과거 보상 윈도우의 관성으로 적응 지연을 보였으며 수렴 성능도 낮았다. 전반적으로 실험은 단일 롤아웃 전략과 토큰 수준의 엄격한 오프폴리시 차단이 에이전트형 작업에서 안정성과 적응력을 동시에 개선함을 입증했다.

전체 아키텍처는 비동기 롤아웃 생성기(rollout engine)와 중앙 학습자(learner)를 분리한 actor-learner 스타일을 기반으로 하되, 각 롤아웃이 완료되는 즉시 학습자에게 전달되어 업데이트가 이루어지는 single-rollout 흐름을 채택했다. 정책은 토큰 수준의 확률을 출력하는 autoregressive 모델이며 가치모델은 토큰 수준의 V(s) 추정을 수행하는 별도의 Critic으로 구현되어 있다. 가치모델은 MoE 구성요소를 포함하고 attention 모듈은 RL 단계에서 동결하여 수치적 안정성을 확보했다.

핵심 알고리즘적 기반은 토큰 수준 중요도 샘플링과 이중측 클리핑이다. 확률비는 r_t(θ)=exp(log π_θ(a_t|s_t) − log π_rollout(a_t|s_t))로 정의되고, 캘리브레이션 함수 f(x;ϵ_ℓ,ϵ_h)은 1−ϵ_ℓ<x<1+ϵ_h일 때 x를 통과시키고 그렇지 않으면 0으로 마스킹한다. 변수 의미는 π_rollout이 롤아웃 시 기록된 행동 확률, π_θ가 현재 정책 확률이며 계산 흐름은 롤아웃 로그를 저장한 뒤 학습 시 현재 정책 로그를 빼고 지수를 취해 r_t를 계산하고 f에 따라 토큰을 필터링하는 것이다. 수치적 예로 롤아웃 확률 0.1, 현재 정책 확률 0.3이면 r_t≈3.0으로 상한을 초과하면 해당 토큰의 그래디언트가 차단된다.

가치추정 관련 상세는 Faster Value Update와 Skip-Observation GAE로 구성된다. Faster Value Update는 정책 업데이트당 K=2의 가치모델 업데이트를 수행해 가치추정이 정책 변화에 빠르게 적응하도록 설계되었고, Skip-Observation GAE는 시퀀스 구조 [a_0,o_0,a_1,o_1,...]에서 관찰 토큰 o_i를 가치연결에서 건너뛰고 액션 토큰 간의 이득을 정의해 외생적 관찰의 잡음 전파를 차단한다. 관련 수식은 δ=r_t+γ V(a_{i+1,0})−V(a_{i,N})와 Â(a_{i,N})=δ+γλ Â(a_{i+1,0}) 형태로 구체화되어 있다.

실험·훈련 세부사항은 논문에 기술된 하이퍼파라미터를 따른다. 수학 추론(TIR) 설정에서 정책 학습률은 1×10^−6, 가치모델 학습률은 5×10^−6, 토큰 클립은 ε_low=0.3, ε_high=5.0으로 설정했고 배치 크기 128, 그룹 크기 1, 최대 길이 128k 토큰을 사용했다. 코딩 에이전트 설정에서는 ε_low=0.8, ε_high=3.0을 사용했으며 가치모델의 K=2 업데이트 및 10스텝 워밍업 등이 적용되어 실험 결과 재현을 위한 구체적 조건을 제공한다.

Prior work 대비 차별점은 비동기 환경에서 과거 정책 히스토리를 추적하지 않고 롤아웃 로그만으로 토큰 수준의 오프폴리시 보정을 수행한다는 점이다. 이는 GRPO 계열이 그룹 평균에 의존해 동기화 장벽을 만들고 스테일니스 문제를 유발하는 구조적 한계를 극복하면서도 계산·저장 오버헤드를 현저히 낮춘다. 실험에서 제시된 설명분산, 크리틱 그래디언트 노름, 토큰 클립 비율 등의 지표는 이러한 설계가 안정성과 성능 측면에서 실효성이 있음을 보여준다.