advantage-shaping
어드밴티지 재형성
GRPO 기반의 그룹 정규화된 advantage를 토큰·단계 수준에서 재가중하는 기법을 의미한다. 본 논문에서는 최종 답이 틀렸을 때 이전 실패 단계의 토큰에 대해 지수적으로 큰 음의 어드밴티지를 부여하는 방식으로 구현되어 초기 실패를 강하게 억제한다. 이렇게 하면 실패를 일으킨 특정 단계에 더 직접적인 학습 신호가 전달되어 크레딧 할당이 세분화된다.
중급
어드밴티지 재형성
GRPO 기반의 그룹 정규화된 advantage를 토큰·단계 수준에서 재가중하는 기법을 의미한다. 본 논문에서는 최종 답이 틀렸을 때 이전 실패 단계의 토큰에 대해 지수적으로 큰 음의 어드밴티지를 부여하는 방식으로 구현되어 초기 실패를 강하게 억제한다. 이렇게 하면 실패를 일으킨 특정 단계에 더 직접적인 학습 신호가 전달되어 크레딧 할당이 세분화된다.