본문으로 건너뛰기

top-k-logits

Top‑K 로짓 캐시

교사 모델 출력에서 각 위치별로 확률이 높은 상위 K개 토큰의 로짓만 저장하는 방식으로, 교사를 매 스텝 실행하지 않고도 근사된 분포를 재사용해 VRAM과 계산을 줄인다.