top-k-restricted-entropy

모델의 예측 분포에서 확률이 높은 상위 k개 토큰만을 대상으로 엔트로피를 계산하는 방식으로, 전체 어휘에 대한 엔트로피보다 노이즈 민감성이 적고 불확실성 추정이 안정적이다. 본 연구에서는 k=256 설정이 최적으로 관찰되었으며 엔트로피 기반 중요도 산정에 활용되었다. 이 기법은 희박한 확률 질량 문제를 완화한다.