PyTorch로 처음부터 구현한 LLM 정렬 기법 비교: PPO, GRPO, DPO 분석

실용적 조언

GRPO 사용 시 그룹 크기 k를 최소 8 이상으로 설정하고 온도를 높여 그룹 붕괴를 방지할 것
DPO 학습 시 보상 마진이 급증하면 베타 값을 높여 학습 속도를 늦추고 일반화 성능을 높일 것
SFT 모델의 성능을 정확히 측정하기 위해 평가 시 낮은 온도(0.3 등)를 적용해 볼 것

섹션별 상세

GRPO의 그룹 붕괴(Group Collapse) 현상과 해결책을 확인했다. 그룹 크기 k=4 설정 시 특정 프롬프트에서 표준 편차가 0이 되어 그래디언트가 흐르지 않는 문제가 발생했으나, k를 8로 늘리고 생성 온도를 1.0으로 높여 보상 수치를 +3.43 개선했다. 이는 GRPO의 안정적인 학습을 위해 충분한 샘플 다양성 확보가 필수적임을 시사한다.

DPO 학습 시 보상 마진 폭주와 베타(β) 값의 상관관계를 분석했다. 베타가 0.1일 때 마진이 1에서 599까지 급증하며 모델이 일반적인 선호도 대신 개별 데이터 쌍에 과적합되는 현상이 나타났다. 베타를 0.3으로 상향 조정하여 학습 속도를 늦추고 손실 함수가 정상적으로 작동하도록 유도함으로써 일반화 성능을 확보했다.

PPO의 KL 계수(kl_coef) 최적화 범위를 탐색했다. 계수가 0.01일 때는 SFT 단계에서 학습한 강점을 잊어버리는 과도한 수정이 일어났고, 0.1일 때는 정책을 너무 강하게 제약하여 성능 향상이 억제되는 결과가 나타났다. 최적의 균형점은 두 수치 사이에 존재하며, 이는 PPO가 하이퍼파라미터에 매우 민감함을 보여준다.

평가 시 온도(Temperature) 설정이 SFT 모델의 성능 지표에 미치는 영향을 확인했다. 추가적인 학습 없이 평가 온도를 0.7에서 0.3으로 낮추는 것만으로도 보상 수치가 +1.12 향상되는 결과가 도출됐다. 이는 초기 실험 단계에서 SFT의 잠재력이 과소평가되었을 가능성을 시사하며, 공정한 비교를 위한 평가 환경 통제의 중요성을 강조한다.

용어 해설

근사 정책 최적화(PPO): — 강화학습에서 정책 업데이트 시 이전 정책과 너무 멀어지지 않도록 제약을 두는 알고리즘이다. 에이전트가 안정적으로 학습하도록 돕지만, KL 계수 설정에 따라 성능이 민감하게 변하는 특성이 있다.
그룹 상대 정책 최적화(GRPO): — 별도의 비평가(Critic) 모델 없이 그룹 내 샘플들의 상대적 보상을 사용하여 정책을 업데이트하는 기법이다. DeepSeek-V3 등에서 사용되었으며, 그룹 크기(k) 설정이 학습 안정성에 결정적인 역할을 한다.
직접 선호도 최적화(DPO): — 보상 모델 학습과 강화학습 단계를 하나로 통합하여 선호도 데이터를 직접 학습하는 방식이다. 복잡한 RLHF 과정 없이도 효율적인 정렬이 가능하지만, 하이퍼파라미터에 따라 과적합 위험이 존재한다.
지도 미세 조정(SFT): — 사전 학습된 모델을 특정 작업의 정답 데이터셋으로 학습시키는 첫 번째 미세 조정 단계이다. 이후 진행되는 RLHF나 DPO 같은 정렬 단계의 기초가 되는 성능 기준점 역할을 한다.
KL 발산(KL-Divergence): — 두 확률 분포 간의 차이를 측정하는 지표로, LLM 정렬에서는 학습 중인 모델이 원래의 SFT 모델에서 너무 벗어나지 않도록 규제하는 용도로 사용된다. 이 계수가 너무 크면 학습이 억제되고, 너무 작으면 모델이 붕괴될 수 있다.

언급된 도구

PyTorch추천

전체 LLM 학습 파이프라인 아키텍처 구축

언급된 리소스

문서RLHF Post-Blog (Full Write-up)