layer-wise-representation-evolution

모델의 초기 레이어와 최종 레이어 사이에서 동일 토큰의 히든 표현이 얼마나 변화하는지를 코사인 거리로 측정한 값이다. 표현 변화가 크면 해당 토큰이 모델 내부에서 여전히 의미적으로 정제되는 중이라는 신호로 해석되어 미래 생성에 더 큰 기여 가능성이 있다. 논문은 이 값과 엔트로피를 곱해 레이어별 엔트로피 점수를 구성했다.