termination-token-masking
종료 토큰 어드밴티지 마스킹
`</think>`와 `<|im_end|>`처럼 사고 과정이나 최종 응답을 끝내는 구조 토큰의 OPD 어드밴티지를 학습에서 제외하는 기법입니다. 긴 응답을 선호하는 교사의 신호가 학생의 종료 확률을 계속 낮추는 현상을 막아, 학생이 자신의 문맥 예산 안에서 생성 과정을 끝낼 수 있도록 합니다.
종료 토큰 어드밴티지 마스킹
`</think>`와 `<|im_end|>`처럼 사고 과정이나 최종 응답을 끝내는 구조 토큰의 OPD 어드밴티지를 학습에서 제외하는 기법입니다. 긴 응답을 선호하는 교사의 신호가 학생의 종료 확률을 계속 낮추는 현상을 막아, 학생이 자신의 문맥 예산 안에서 생성 과정을 끝낼 수 있도록 합니다.
