샘플러 참조 업데이트
롤아웃을 생성한 추론 정책(샘플러)을 기준으로 중요도 보정과 클리핑을 설계하여 트레이너가 만든 후보 업데이트가 샘플러 분포와 정렬되도록 만드는 업데이트 방식이다. 이 방식은 훈련-추론 비대칭을 완화하기 위해 사전 불일치 가중치와 현재 업데이트 비율을 분리해 처리한다. 본 논문에서는 Truncated-IS(TIS) 스타일의 보정을 Step 1의 핵심으로 사용한다.