참조 모델
DPO 학습 시 모델이 원래의 언어 능력을 잃지 않도록 기준점이 되는 고정된 가중치의 모델이다. 학습 중인 모델의 로그 확률과 이 참조 모델의 로그 확률을 비교하여 모델이 기존 분포에서 너무 멀어지지 않도록 제어하는 역할을 수행한다.