어텐션 엔트로피 붕괴: 버그가 아닌 기하학적 필연성

대체로 긍정적이며, 기하학적 관점에서의 분석이 흥미롭다는 반응이 많습니다.

• 학습 시 온도 스케줄링을 적용하여 어텐션 엔트로피가 0으로 붕괴하는 것을 방지할 것.

• 어텐션 엔트로피 붕괴는 모델의 기하학적 구조 문제로, 곡률을 제어하여 해결할 수 있다.
• 학습 중 온도 스케줄링을 통해 어텐션 엔트로피를 일정 수준으로 유지하면 모델의 일반화 성능과 보정 능력이 향상된다.
• 제안된 기법은 아키텍처 변경 없이 학습 공식에 온도 항을 추가하는 것만으로 구현 가능하다.