어드밴티지 스케일링
어드밴티지 스케일링은 GRPO의 completion advantage에 추가 가중을 곱하거나 더해 후보 간 학습 신호를 재순위화하는 기법이다. 본 논문에서는 faithfulness 성분이 평균을 넘을 때 그 성분을 k+Zg로 스케일링하여 메타인지 성능이 우수한 완료를 더 강하게 강화한다. 이 기법은 난이도 편향을 완화하면서도 메타인지적으로 신뢰할 수 있는 출력을 선호하도록 정책을 유도한다.