어텐션 헤드 엔트로피
Transformer 모델의 어텐션 헤드가 정보에 집중하는 정도를 측정하는 지표이다. 엔트로피가 낮으면 특정 토큰에 강하게 집중하고 있음을, 높으면 여러 토큰에 분산되어 있음을 의미하여 모델의 집중 패턴을 분석하는 데 사용된다.