주요 기능

• PPO, DPO, GRPO 등 핵심 알고리즘의 라인별 코드 분석 제공
• CartPole부터 VLM 강화학습까지 단계별 실험 코드 포함
• 보상 해킹 및 KL 드리프트 등 실무적인 훈련 디버깅 가이드 수록
• VitePress 기반의 인터랙티브 학습 문서 및 시각화 지표 지원
• 도구 호출 및 다중 턴 상호작용을 포함한 에이전트 RL 프로젝트 구성

어떻게 동작하는가

파이토치를 사용하여 MDP 기반의 고전 강화학습을 구현하고, 이를 확장하여 LLM의 정책 최적화 및 그룹 상대 보상 메커니즘을 코드로 실체화한다.