token-level-advantage
토큰 수준 어드밴티지
스킬이 주입된 맥락과 원래 맥락에서 동일한 응답 토큰에 대한 로그확률 차이를 토큰별 이득으로 취급한 값이다. 이 값은 m mask로 유효 토큰에만 적용되고 양수이면 스킬과 일치하는 토큰임을 나타내며 정책 최적화에서 그룹 상대적 에피소드 어드밴티지와 합산되어 사용된다. 토큰 수준의 밀집 신호가 희소한 에피소드 보상을 보완한다.
중급
토큰 수준 어드밴티지
스킬이 주입된 맥락과 원래 맥락에서 동일한 응답 토큰에 대한 로그확률 차이를 토큰별 이득으로 취급한 값이다. 이 값은 m mask로 유효 토큰에만 적용되고 양수이면 스킬과 일치하는 토큰임을 나타내며 정책 최적화에서 그룹 상대적 에피소드 어드밴티지와 합산되어 사용된다. 토큰 수준의 밀집 신호가 희소한 에피소드 보상을 보완한다.