PyTorch로 처음부터 구현한 LLM 정렬 기법 비교: PPO, GRPO, DPO 분석

작성자가 직접 구현한 상세한 실험 데이터와 하이퍼파라미터 튜닝 과정에 대해 긍정적인 반응이 예상되며, 특히 GRPO와 DPO의 실제 학습 역학에 대한 통찰이 주목받았다.

• GRPO 사용 시 그룹 크기 k를 최소 8 이상으로 설정하고 온도를 높여 그룹 붕괴를 방지할 것
• DPO 학습 시 보상 마진이 급증하면 베타 값을 높여 학습 속도를 늦추고 일반화 성능을 높일 것
• SFT 모델의 성능을 정확히 측정하기 위해 평가 시 낮은 온도(0.3 등)를 적용해 볼 것

PPO

— 강화학습에서 정책 업데이트 시 이전 정책과 너무 멀어지지 않도록 제약을 두는 알고리즘이다. 에이전트가 안정적으로 학습하도록 돕지만, KL 계수 설정에 따라 성능이 민감하게 변하는 특성이 있다.

GRPO

— 별도의 비평가(Critic) 모델 없이 그룹 내 샘플들의 상대적 보상을 사용하여 정책을 업데이트하는 기법이다. DeepSeek-V3 등에서 사용되었으며, 그룹 크기(k) 설정이 학습 안정성에 결정적인 역할을 한다.

DPO

— 보상 모델 학습과 강화학습 단계를 하나로 통합하여 선호도 데이터를 직접 학습하는 방식이다. 복잡한 RLHF 과정 없이도 효율적인 정렬이 가능하지만, 하이퍼파라미터에 따라 과적합 위험이 존재한다.

SFT

— 사전 학습된 모델을 특정 작업의 정답 데이터셋으로 학습시키는 첫 번째 미세 조정 단계이다. 이후 진행되는 RLHF나 DPO 같은 정렬 단계의 기초가 되는 성능 기준점 역할을 한다.

KL-Divergence

— 두 확률 분포 간의 차이를 측정하는 지표로, LLM 정렬에서는 학습 중인 모델이 원래의 SFT 모델에서 너무 벗어나지 않도록 규제하는 용도로 사용된다. 이 계수가 너무 크면 학습이 억제되고, 너무 작으면 모델이 붕괴될 수 있다.