AsyncOPD: 비동기 온-정책 증류에서 허용 가능한 데이터 낡음(staleness) 범위

On-Policy Distillation(OPD)은 LLM 후처리에서 학생 모델 성능을 높이는 핵심 수단이다. 롤아웃이 긴 추론 작업에서는 동기식 파이프라인이 병목을 초래하므로 비동기 처리가 실무적으로 중요한 대안이 된다. 이 논문은 비동기화로 인한 낡은(또는 오래된) 정책 데이터가 OPD 성능에 미치는 구체적 영향과 실용적 대응을 실험적으로 규명했다.

첫째 단락: 문제 출발점과 기존 한계이다. On-Policy Distillation은 학생이 자신의 롤아웃을 만들고 교사 점수로 토큰별 손실을 계산해 학생을 갱신하는 방식이다. 실무에서는 교사 전체 어휘 logits를 매 롤아웃마다 저장·전송하는 비용이 커서 상위 k나 샘플된 행동만 캐시하는 방식이 일반적이며, 이 과정에서 롤아웃과 학습 간 시간 지연(낡음, staleness)이 생긴다.

둘째 단락: 핵심 아이디어와 작동 원리이다. forward KL은 교사 확률 q로 가중합을 계산하므로 캐시된 교사 점수로 현재 목표의 핵심 질량을 포착할 가능성이 높다. 반면 reverse KL은 현재 학생 pθ로 가중합을 계산하므로 학습 시점에 학생이 높은 확률을 주는 행동이 캐시에 없으면 목표 기대값을 정확히 재구성할 수 없다. 이 차이가 낡음에 대한 민감도의 근본 원리이다.

셋째 단락: 개선 방향과 기대 효과이다. reverse-KL의 정책그라디언트 표현을 중요도샘플링식으로 재정리하면 old-to-current IS 식이 얻어지고, 이때 학습 시점에 Aθ를 재계산하면 오래된 행동 샘플을 현재 학생 기대값으로 바꿀 수 있다. 또한 캐시된 행동을 단일 샘플이 아니라 다중 샘플로 확보하면 IS의 무편향성은 유지하면서 Monte Carlo 분산을 평균화해 큰 낡음 상황에서 성능 저하를 완화한다.

첫째 단락: 전체 접근 방식 개요이다. 비동기 파이프라인은 롤아웃 생성자(actor), 교사 스코어링 단계, 학습자(learner)를 시간적으로 분리해 동작한다. 각 롤아웃 시점에는 행동 집합과 해당 행동의 rollout-time log-prob를 캐시하고, 학습 시점에는 캐시된 행동에 대해 학생 로그확률을 재계산하여 로컬 KL 손실을 평가한다.

둘째 단락: 정책-그래디언트 대리식 설계이다. reverse KL의 목적을 importance-sampling 관점으로 재도출해 D_R(θ;s) = −E_{a∼p_old}[ρθ(a,s) Aθ(a,s)] 형태로 썼다. 여기서 Aθ는 학습 시점에 재계산된 어드밴티지이며 ρθ는 old-to-current 비율이다. 이 수식에 따라 네 가지 대리식을 비교했고 학습 시점 Aθ를 사용하고 클리핑을 제거한 무클립 IS가 가장 안정적이었다.

셋째 단락: 캐시 지원 설계와 MC 샘플링이다. 희소 top-k는 deterministic한 stale support를 제공하므로 현재 학생의 top-k와 불일치하면 복원이 불가능하다. 반면 하나의 MC 샘플은 IS로 보정되면 무편향이지만 분산이 크므로 각 타임스텝에서 m개의 행동을 샘플해 캐시하고 평균화하는 multi-sample MC를 도입해 분산을 낮췄다.

넷째 단락: 시스템 및 스케줄러 설계이다. AsyncOPD는 스트리밍 형태의 스케줄러를 사용해 롤아웃, 스코어링, 업데이트를 가능한 한 적게 블로킹하며 τ과 큐 깊이로 동작을 조절했다. 실험 설정에서는 Qwen3-Base 계열 학생과 대형 교사 모델을 사용해 AIME/AMC 계열 수학 문제에서 성능을 평가했다.

첫째 단락: KL 방향과 staleness 민감도 결과이다. 실험에서 forward KL은 staleness 증가에도 비교적 평탄한 정확도 곡선을 보였고 reverse KL은 초기 정확도가 높았지만 staleness가 커질수록 성능이 급격히 떨어져 결국 forward KL보다 낮아지는 패턴이 관찰됐다. 이는 캐시 기반의 teacher-score 제약이 학생가중치 기반 목표에 더 큰 악영향을 미친다는 결론과 일치했다.

둘째 단락: reverse-KL 대리식 및 캐시 추정 비교 결과이다. 학습 시점에 Aθ를 재계산하고 클리핑을 제거한 old-to-current IS 대리식이 다양한 staleness에서 가장 안정적인 성능을 보였고, Decoupled PPO나 M2PO 같은 비동기 RL 기법은 본 설정에서 일관된 개선을 주지 못했다. 또한 one-sample MC에 비해 multi-sample MC(m≥4)가 큰 staleness에서 분명한 성능 향상을 보였고, m∈{4,16,64}는 유사한 수준의 개선을 제공했다.

셋째 단락: 시스템 처리량 및 효율성 결과이다. 구현한 AsyncOPD 파이프라인은 strict synchronous 대비 학습 처리량이 설정에 따라 1.6×에서 3.8×까지 증가했고 파이프라인 단계의 동시 활동(overlap)이 증가했다. 최종 체크포인트 정확도는 동등하거나 근접한 수준을 유지해 처리량 개선이 품질 저하로 이어지지 않음을 보였다.

첫째 단락: 전체 아키텍처 구조이다. AsyncOPD는 독립 롤아웃 워커, 교사 스코어링 단계, 학습자 노드로 구성되며 각 워커는 롤아웃 시점의 행동 집합과 로그확률, 그리고 교사 점수를 캐시해 학습자에게 전달한다. 학습자는 도착한 캐시 항목에 대해 현재 학생의 로그확률을 재계산해 로컬 KL 대리식을 평가한다.

둘째 단락: 핵심 수학적 기반이다. reverse KL 그레이디언트는 학생 분포로 가중된 형태로 표현되며 이 식을 importance sampling으로 변환하면 D_R(θ;s)=−E_{a∼p_old}[ρθ(a,s) Aθ(a,s)]가 된다. 여기서 ρθ(a,s)=pθ(a|s)/p_old(a|s)이고 Aθ(a,s)=log q(a|s)−log pθ(a|s)이다. 본문은 Aθ를 학습 시점에 재계산하고 stop-gradient로 취급하는 것이 편향-분산 트레이드오프 측면에서 유리함을 보였다.

셋째 단락: 캐시와 샘플링의 구현 세부사항이다. Sparse top-k는 rollout 시점 top-k를 캐시하므로 현재 학생의 top-k와 불일치할 때 교사 점수를 복원할 수 없고 편향이 남는다. One-sample MC는 IS로 무편향성 확보가 가능하지만 분산이 크므로 각 타임스텝에서 m개의 행동을 샘플해 교사 점수를 매기고 학습 시 평균화하는 multi-sample MC를 사용해 분산을 낮추었다. 수학적으로 multi-sample estimator는 1/m Σ_i ρθ(a_i,s) sg(Aθ(a_i,s)) 형태로 구현된다.

넷째 단락: 학습 및 시스템 튜닝 관련이다. 실험은 Qwen3-Base 학생과 Qwen3-30B 교사를 사용해 DeepMath 기반 문제로 평가했으며 MC 샘플 수, 클리핑 유무, 스케줄러 τ 값 등을 교차 실험해 민감도를 측정했다. 또한 GPU 자원 배치와 큐 깊이, 동기화 주기 같은 구현 세부가 처리량과 staleness 민감도에 실질적 영향을 미쳤다.

논문은 dense full-vocabulary KL 구현을 비동기 환경에서 다루지 않았으며 해당 방식은 캐시 제약을 제거하므로 다른 해법이 가능하다는 점을 인정했다. 실험은 단일 8-GPU 노드 기반으로 수행되어 대규모 멀티노드 클러스터로의 일반화는 추가 검증이 필요하다.