rl-post-training

기본 생성 모델을 먼저 학습한 뒤 보상 함수를 정의해 정책 최적화를 추가로 수행하는 방법으로, 보상 신호에 따라 출력 특성을 조정한다. 본문에서는 여섯 가지 보상을 이용한 RL 사후훈련을 통해 물리적 타당성 등 다중 목표를 반영하려고 했다. RL 사후훈련은 목표 보상에 과도하게 최적화되면 Goodhart 현상이 발생할 위험이 있다.