Amazon SageMaker에서 veRL과 Ray를 활용한 CodeFu-7B 강화학습 가이드

섹션별 상세

01

CodeFu-7B는 DeepSeek-R1-Distill-Qwen-7B를 기반으로 하며, 정답 코드 없이 문제 설명과 테스트 케이스만으로 학습하여 실제 문제 해결 능력을 배양한다.

02

Ray on Amazon SageMaker Training jobs 솔루션은 멀티 노드 클러스터 자동 설정, 이기종 인스턴스 지원, Ray Dashboard 통합을 통해 분산 RL 학습의 복잡성을 해결한다.

03

veRL 프레임워크는 Actor, Critic, Reward Worker 등 다중 컴포넌트 아키텍처를 조정하며, GRPO 알고리즘을 통해 정책 업데이트의 안정성을 높인다.

04

보상 시스템은 Ray의 원격 함수를 활용해 C++ 코드를 병렬로 컴파일하고 실행하며, 테스트 케이스 통과율에 따라 계층적 페널티와 보상을 부여한다.

05

SageMaker의 ModelTrainer API를 사용하여 사용자 정의 Docker 컨테이너와 런처 스크립트로 학습 작업을 제출하고, S3 및 CloudWatch와 연동하여 결과를 관리한다.

06

MLflow, Prometheus, Grafana를 통합하여 GPU 사용률, 보상 추이, KL 발산 등 핵심 지표를 실시간으로 모니터링하고 학습 상태를 진단한다.

그룹 상대 정책 최적화(GRPO): — 별도의 비평가(Critic) 모델 없이 샘플 그룹 내의 상대적 보상을 기준으로 어드밴티지를 계산하는 강화학습 알고리즘이다. PPO의 변형으로 계산 효율성을 높이면서도 정책 업데이트의 안정성을 유지하는 데 기여한다.
롤아웃(Rollout): — 강화학습 과정에서 현재의 정책 모델을 사용하여 환경과 상호작용하며 일련의 데이터(응답)를 생성하는 단계이다. LLM 학습에서는 프롬프트에 대해 모델이 답변을 생성하는 과정을 의미한다.
완전 샤딩 데이터 병렬 처리(FSDP): — 모델 파라미터, 그래디언트, 옵티마이저 상태를 여러 GPU에 걸쳐 분산(샤딩)하여 저장하는 기법이다. 단일 GPU 메모리를 초과하는 대규모 모델을 효율적으로 학습시키기 위한 필수 기술이다.
KL 발산(KL Divergence): — 두 확률 분포 간의 차이를 측정하는 통계적 지표이다. 강화학습에서는 새로운 정책이 기존의 참조 모델로부터 너무 멀리 벗어나 성능이 급격히 저하되는 것을 방지하는 제약 조건으로 활용된다.
샌드박싱(Sandboxing): — 외부 코드를 격리된 환경에서 실행하여 시스템에 해를 끼치지 않도록 보호하는 보안 기술이다. LLM이 생성한 코드를 직접 실행하여 보상을 계산할 때 시스템 보안을 유지하기 위해 필수적이다.