PyTorch로 처음부터 구현한 LLM 정렬 기법 비교: PPO, GRPO, DPO 분석

작성자가 직접 구현한 상세한 실험 데이터와 하이퍼파라미터 튜닝 과정에 대해 긍정적인 반응이 예상되며, 특히 GRPO와 DPO의 실제 학습 역학에 대한 통찰이 주목받았다.

• GRPO 사용 시 그룹 크기 k를 최소 8 이상으로 설정하고 온도를 높여 그룹 붕괴를 방지할 것
• DPO 학습 시 보상 마진이 급증하면 베타 값을 높여 학습 속도를 늦추고 일반화 성능을 높일 것
• SFT 모델의 성능을 정확히 측정하기 위해 평가 시 낮은 온도(0.3 등)를 적용해 볼 것

• GRPO 구현 시 그룹 크기(k)와 생성 온도는 그래디언트 흐름을 유지하고 그룹 붕괴를 방지하는 결정적인 변수이다.
• DPO의 안정성을 위해서는 보상 마진의 급격한 팽창을 모니터링하고 베타 값을 조절하여 모델의 과적합을 방지해야 한다.
• PPO의 KL 계수는 모델이 기존 지식을 유지하면서 새로운 선호도를 학습하게 하는 좁은 최적 범위를 가진다.
• SFT 모델의 성능은 평가 시 온도 설정에 따라 크게 변하므로, 정렬 기법 비교 시 평가 파라미터의 일관성이 필수적이다.