본문으로 건너뛰기

Frobenius norm

프로베니우스 노름

행렬의 모든 원소 제곱합의 제곱근으로 정의되는 수치로서 어텐션 행렬의 전반적 크기 변화를 정량화하는 데 사용되며, 특정 위치까지 캐시를 제거했을 때 attention 행렬의 에너지 감소를 수치적으로 측정해 성능 저하 신호로 활용한다.