거절 샘플링 파인튜닝
거절 샘플링 파인튜닝은 이유자의 추론 궤적을 롤아웃해 생성 결과를 점수화한 뒤, 그룹 내에서 이점(advantage)이 양인 궤적만 선별해 이유자를 추가 학습시키는 절차이다. 이 방법은 생성기가 내부화한 지식으로 인해 불필요하거나 해로운 검색 행동을 자동으로 걸러내어 이유자 정책을 생성기 경계에 재조정한다. 결과적으로 검색 호출이 생성기 능력과 정렬되도록 정책을 정교화한다.
