토큰 수준 중요도 샘플링
롤아웃 시 기록된 토큰별 로그확률을 행동 분포의 대리로 사용해 현재 정책과의 확률비(r_t)를 계산하고, 이 값을 기준으로 토큰별로 그래디언트 신뢰 구간을 제한하거나 마스킹해 오프폴리시 업데이트 영향을 국소적으로 제어하는 기법이다.
