privileged-information-distillation

훈련 시점에만 이용 가능한 특권 정보를 활용해 학생 모델의 롤아웃에 대한 타깃 분포를 개선하는 온-정책(distilled) 정보 증류 기법이다. 교사는 완전 샘플링된 MR 이미지와 학생의 현재 롤아웃을 함께 보고 분포를 정제하며, 역 KL 손실을 통해 학생이 규정된 경로를 따르도록 유도한다.