전향 영향도
어떤 토큰을 KV 캐시에서 제거했을 때 향후 생성되는 여러 토큰의 예측 분포가 얼마나 달라지는지를 KL 발산으로 평균한 지표이다. 이 값은 제거된 토큰이 미래 문맥에 미치는 실질적 기여도를 정량화하며 장거리 의존성을 평가하는 근거로 사용된다. 논문에서는 이 측정값으로 attention 기반 중요도와 엔트로피 기반 중요도의 차이를 비교했다.