어텐션 엔트로피 붕괴: 버그가 아닌 기하학적 필연성

커뮤니티 반응

대체로 긍정적이며, 기하학적 관점에서의 분석이 흥미롭다는 반응이 많습니다.

주요 논점

01중립분열

어텐션 엔트로피 붕괴가 단순한 학습 결함이 아닌 기하학적 필연성이라는 주장에 대해 기술적 논의가 진행 중이다.

합의점 vs 논쟁점

합의점

어텐션 엔트로피 붕괴가 모델의 취약성을 유발한다는 점.

논쟁점

이 현상이 단순한 학습 결함인지, 아니면 기하학적 필연성인지에 대한 해석.

실용적 조언

학습 시 온도 스케줄링을 적용하여 어텐션 엔트로피가 0으로 붕괴하는 것을 방지할 것.

섹션별 상세

트랜스포머의 깊은 층에서 어텐션 분포가 원-핫(one-hot)에 가깝게 붕괴하는 현상은 단순한 과적합이나 학습 결함이 아닌 기하학적 필연성이다. 어텐션 메커니즘은 토큰 임베딩 매니폴드 상의 리만 계량(Riemannian metric)을 정의하며, 어텐션 엔트로피가 낮아지면 매니폴드의 스칼라 곡률이 급격히 상승한다.

곡률이 임계치를 넘으면 매니폴드에 커스프(cusp)가 형성되어 어텐션 패턴이 고정되고 모델이 OOD(Out-of-Distribution) 입력에 취약해진다. 이는 모델의 학습 과정에서 엔트로피가 0으로 수렴함에 따라 발생하는 기하학적 구조의 붕괴이다.

이를 해결하기 위해 학습 과정에서 온도(temperature)를 조절하여 엔트로피가 0으로 수렴하지 않도록 제어하는 곡률 보존 스케줄링 기법을 제안한다. 이 기법은 아키텍처 변경 없이 학습 공식에 온도 항을 추가하는 것만으로 구현 가능하며, 모델의 일반화 성능과 보정 능력을 향상시킨다.