비동기 Agentic RL에서의 누락된 과거 로짓: 오프폴리시 보정의 의미론적 불일치와 복구 방법

대규모 LLM 에이전트의 비동기 RL은 롤아웃과 학습을 비동기적으로 처리해 처리량을 높이지만, PPO‑style 오프폴리시 보정에서 중요한 결함 모드를 야기한다. 의미론적 불일치(훈련-추론 간 분포 차이)와 정책 노후화(다음 업데이트 전 정책 불일치)가 서로 얽히면서, 기존의 보정 방식이 의도한 두 가지 제약을 분리해 적용하는 것을 어렵게 만든다. 이 논문은 비동기 시스템에서 누락된 '이전(training-side) 로짓(old logits)' 문제를 공식화하고, 정확한 복구 경로와 저비용 근사 경로를 제시한다.

출발점: 비동기 RL에서 rollout이 서로 다른 버전의 정책에 의해 생성되므로 train 쪽 로짓 πold가 누락될 수 있다. r(θ) = πθ(y|x)/µold(y|x)로 두 구성요소 rd = πold(y|x)/µold(y|x)와 rs = πθ(y|x)/πold(y|x)로 분해할 수 있는데, 이때 rd와 rs의 의미가 상충해 잘못된 보정으로 이어질 수 있다. 해결 원리: discrepancy repair는 숫자적 일관성에 집중하고, staleness correction은 업데이트의 크기를 제한하는 방향으로 별도 제약이 필요하다. interpolation-based proxy는 단순히 경계만 재매개하는 효과를 주며, 진정한 old logits의 재구성이 아니다. 해결책은 (i) exact old logits를 얻는 시스템적 보강 또는 (ii) PPO‑EWMA 같은 근사 정책을 통해 asynchronous 버전 창의 중심을 추적하는 방식이다. 결과적으로 exact old logits 복구는 의미론적 분해를 회복하고, PPO‑EWMA는 실무적으로 강력한 대체 제를 제공한다.

전체 접근은 두 축의 제약으로 구성된 PPO‑style off‑policy correction의 MIS 해석에서 시작한다. rθ = πθ(y|x)/µold(y|x)이고, 이를 rd와 rs로 분해하면 rd = πprox(y|x)/µold(y|x), rs = πθ(y|x)/πprox(y|x)로 표현된다. Interpolation 기반 프록시들은 rd의 경계와 rs의 경계를 재매개하므로 총 rθ의 경계만 재정의할 뿐 새로운 보정 효과를 도입하지 않는다는 것을 Proposition 1로 보인다. Exact old‑logit acquisition으로 Snapshot-based, dedicated old‑logit model, partial rollout interruption의 3가지 경로를 제시하고 시스템 트레이드오프를 논의한다. PPO‑EWMA는 θprox를 EWMA로 추정하는 근사 Reference 정책으로, 5에서 정의된 rs, rd를 대체하고 ρt(Train‑Infer Mask의 비활성 비율)을 모니터링해 과도한 노후화를 방지하기 위해 주기적으로 reset하는 메커니즘을 도입한다. 구체적으로: θprox(t) = normalize(βprox θprox(t−1) + (1−β) θt)이며 center-of-mass가 비동기 창의 중간에 오도록 βprox를 선택하고, ρt가 임계치 τ보다 작아지면 θprox를 재설정한다.

주요 벤치마크에서 PPO‑EWMA가 Decoupled PPO 및 Linear_prox 대비 일관되게 개선하고 Snapshot의 결과에 근접한 성능을 보여준다. dense Qwen3‑4B에서 Retail에서 pass@4가 90.35 등으로 상향, Airline에서 54/74 등에서 improvements를 보였다. 30B‑MoE의 경우 Airline에서 60/82를 기록하고 Retail/Telecom에서도 강한 성과를 보였다. Exact old‑logit Recovery의 시스템 오버헤드는 Snapshot이 더 크고, PPO‑EWMA는 비교적 낮은 비용으로 근접 성능을 달성한다. Threshold trade-off 분석에서 discrepancy threshold가 느슨할수록 초기 학습 속도는 빨라지나, 후반 안정성은 약화될 수 있으며, stale-policy threshold의 변화와 PPO‑CLIP의 활성화가 상호 작용한다는 점이 확인된다. PPO‑EWMA의 β 조정은 0.75가 중간 지점을 잘 맞춰 초기 학습에 유리하나, 재설정이 필요할 수 있음을 보여준다.

PPO‑style off‑policy correction의 MIS 정의: rd와 rs를 분해하고, At의 부호에 따라 clip를 적용한다. interpolation-based proxy는 rd와 rs의 경계를 재매개할 뿐 새롭게 학습에 기여하는 것은 아니다(Proposition 1). 정확한 old logits 복구 방식으로 Snapshot-based Version Tracking, Dedicated Old-Logit Model, Partial Rollout Interruption이 제시되며, 시스템 측면의 I/O, 메모리, 스위치 대기 시간이 증가한다. PPO‑EWMA는 θprox를 EWMA로 계산하고 βprox를 Wstale에 맞춰 설정하며 ρt가 τ보다 작아지면 재설정한다. 실험은 dense 4B(Qwen3‑4B)와 MoE 30B‑A3B(Qwen3‑30B‑A3B)에서 수행되며, Snapshot은 이상적 참조를 제공한다. Table 2의 벤치마크 점수와 Table 3의 시스템 오버헤드가 핵심 분석 지표다.

한계점으로는(1) 모델 규모가 수백억 파라미터 규모의 실 deployments에 대한 검증이 아직 부족하다는 점, (2) 인프라 측면의 전면적 비용 분석이 포괄적이지 않다는 점, (3) 대역폭과 스케일링 조건 하에서의 Throughput 측정이 제한적이라는 점이 제시된다.