어텐션 엔트로피
어텐션 가중치가 토큰들에 얼마나 고르게 퍼져 있는지를 나타내는 척도이다. 엔트로피가 낮으면 특정 영역에 정보가 집중되어 있음을, 높으면 정보가 넓게 분산되어 있음을 의미한다.