RLHF와 GRPO의 기반이 되는 강화학습 실전 가이드

섹션별 상세

REINFORCE 알고리즘에서 시작하여 LLM 정렬 기술이 단계별로 발전했다. 각 개념은 이전 기술의 한계점이 드러날 때 도입되는 방식으로 구성되어, 토큰 단위 최적화에서 발생하는 신뢰 할당 문제를 해결하는 과정을 논리적으로 보여준다.

PPO와 GRPO의 구조적 차이는 명확하다. PPO는 정책, 비평가, 참조, 보상 모델 등 3~4개의 모델을 동시에 실행해야 하므로 자원 소모가 크다. 반면 GRPO는 비평가 모델을 제거하고 동일한 프롬프트에 대한 여러 응답의 그룹 통계를 사용하여 기준점을 설정함으로써 연산 효율성을 개선한다.

Advantage 함수와 GAE는 RLHF 파이프라인에서 보상의 분산을 줄이고 학습의 안정성을 높이는 역할을 수행한다. 이러한 기법들은 현대적인 LLM 사후 학습 워크플로우의 표준으로 자리 잡았으며, 토큰 수준의 미세한 최적화를 가능하게 한다.

용어 해설

인간 피드백 기반 강화학습(RLHF): — 인간의 선호도를 반영한 보상 모델을 학습시키고, 이를 통해 LLM이 인간의 의도에 부합하도록 정렬하는 기술이다. 모델의 안전성과 유용성을 높이는 핵심적인 사후 학습 과정이다.
그룹 상대 정책 최적화(GRPO): — 별도의 비평가(Critic) 모델 없이 동일한 프롬프트에서 생성된 응답 그룹의 통계적 점수를 비교하여 정책을 업데이트하는 기법이다. 연산 자원을 획기적으로 절감하면서도 높은 성능을 유지한다.
근사 정책 최적화(PPO): — 정책 업데이트 시 변화폭을 일정 범위 내로 제한하여 학습의 안정성을 보장하는 강화학습 알고리즘이다. RLHF에서 가장 널리 사용되는 표준적인 최적화 도구 중 하나이다.
일반화된 어드밴티지 추정(GAE): — 강화학습에서 보상의 편향과 분산 사이의 균형을 맞추어 Advantage 값을 계산하는 기법이다. 학습의 안정성을 높이고 최적의 정책으로 수렴하는 속도를 개선하는 데 필수적이다.

기술

PPO
GRPO
GAE
REINFORCE

활용 사례

LLM 정렬
모델 사후 학습
추론 비용 최적화

언급된 리소스

튜토리얼A Practical Guide to RL Behind RLHF and GRPO