Rejection Finetuning
거절 샘플링 파인튜닝
거절 샘플링 파인튜닝은 이유자의 추론 궤적을 롤아웃해 생성 결과를 점수화한 뒤, 그룹 내에서 이점(advantage)이 양인 궤적만 선별해 이유자를 추가 학습시키는 절차이다. 이 방법은 생성기가 내부화한 지식으로 인해 불필요하거나 해로운 검색 행동을 자동으로 걸러내어 이유자 정책을 생성기 경계에 재조정한다. 결과적으로 검색 호출이 생성기 능력과 정렬되도록 정책을 정교화한다.
거절 샘플링 파인튜닝
거절 샘플링 파인튜닝은 이유자의 추론 궤적을 롤아웃해 생성 결과를 점수화한 뒤, 그룹 내에서 이점(advantage)이 양인 궤적만 선별해 이유자를 추가 학습시키는 절차이다. 이 방법은 생성기가 내부화한 지식으로 인해 불필요하거나 해로운 검색 행동을 자동으로 걸러내어 이유자 정책을 생성기 경계에 재조정한다. 결과적으로 검색 호출이 생성기 능력과 정렬되도록 정책을 정교화한다.
