vLLM V0에서 V1으로의 전환: 강화학습에서의 추론 정확도 확보 과정

섹션별 상세

vLLM V1은 V0와 구조적으로 다르기 때문에 롤아웃 생성 시 반환되는 로그 확률의 의미가 달라질 수 있다. 초기 테스트에서 V1은 기본적으로 온도 스케일링이나 필터링이 적용되지 않은 원시 출력을 반환하여 훈련 지표의 편차를 발생시켰다. 이를 해결하기 위해 logprobs-mode를 processed_logprobs로 설정하여 샘플러가 사용하는 처리된 분포와 일치시켰다. 이 수정을 통해 정책 비율의 평균 편차를 1.0에 가깝게 유지하며 의미론적 불일치를 제거했다.

근거

vLLM V1은 네 가지 수정을 거친 후 vLLM V0 참조 모델과 일치하는 훈련 궤적을 보여주었다. — Figure 1 및 TL;DR 섹션
logprobs-mode를 processed_logprobs로 설정하면 정책 비율의 평균 편차가 1.0에 매우 가깝게 유지된다. — Figure 4 및 Logprob Semantics 섹션

V1의 새로운 런타임 기본값인 접두사 캐싱(Prefix Caching)과 비동기 스케줄링이 온라인 RL 환경에서 불확실성을 초래했다. 온라인 RL에서는 가중치가 실시간으로 업데이트되는데, 캐싱 정책이 업데이트 경계를 무시할 경우 이전 가중치로 계산된 상태를 재사용할 위험이 있다. 이를 방지하기 위해 접두사 캐싱과 비동기 스케줄링을 명시적으로 비활성화하여 V0와 동일한 실행 경로를 확보했다. 이러한 설정 제어는 마이그레이션 비교 시 변수를 최소화하는 데 필수적이다.

실시간 가중치 동기화 방식이 V0의 동작과 일치하도록 V1의 업데이트 로직을 조정했다. V0는 엔진 경계에서 실행을 차단하고 새 가중치를 로드한 후 캐시 무효화 없이 재개하는 방식을 취했다. V1에서도 이와 유사하게 세션을 유지하면서 캐시를 지우지 않는 pause_generation(mode='keep') 옵션을 사용하여 가중치 업데이트 지연(Lag)을 최소화했다. 결과적으로 훈련 후반부에서 발생하는 지속적인 지연 현상을 효과적으로 제거할 수 있었다.

최종 로짓 계산 시 수치적 정밀도 차이가 RL 업데이트의 정책 비율과 클리핑 지표에 가시적인 영향을 미쳤다. 훈련기(Trainer)는 fp32 lm_head를 사용하여 최종 투영을 수행하므로, 추론 백엔드에서도 동일한 정밀도를 사용해야 수치적 일관성이 유지된다. MiniMax-M1 및 ScaleRL 연구 사례와 마찬가지로 fp32 헤드 계산을 적용한 후에야 V1의 보상 곡선이 V0 참조 모델과 완벽하게 일치했다. 이는 미세한 로짓 차이가 RL 최적화 대상인 로그 확률에 직접적인 영향을 주기 때문이다.

근거

fp32 lm_head를 적용한 최종 V1 실행은 V0의 보상 곡선을 정확히 추적했다. — Figure 6 및 The Remaining Gap: fp32 lm_head 섹션

기술

vLLM
PipelineRL
ScaleRL

활용 사례

온라인 강화학습 훈련 파이프라인 구축
vLLM V0에서 V1으로의 프로덕션 마이그레이션
추론-훈련 간 로그 확률 불일치 디버깅

언급된 리소스

논문MiniMax-M1 Technical Report

논문ScaleRL Paper

vLLM V0에서 V1으로의 전환: 강화학습에서의 추론 정확도 확보 과정

섹션별 상세

기술

활용 사례

언급된 리소스

관련 토론

댓글

관련 기사

로컬 LLM 추론 엔진 비교: Llama.cpp vs vLLM

LLM에서 강화학습의 샘플 효율성 퍼즐

관련 토론

댓글

관련 기사

로컬 LLM 추론 엔진 비교: Llama.cpp vs vLLM

LLM에서 강화학습의 샘플 효율성 퍼즐