softmax-collapse

Attention 연산 중 Softmax 함수의 입력값이 극단적으로 커지거나 작아져서 출력 확률 분포가 하나의 토큰에만 집중되고 수치적 안정성이 깨지는 현상이다. 주로 참조할 수 있는 과거 정보가 너무 적을 때 발생한다.