어텐션 붕괴
긴 문맥을 처리할 때 트랜스포머 모델의 어텐션 스코어가 특정 중요 토큰에 집중되지 못하고 전체적으로 균일하게 퍼지는 현상이다. 이로 인해 시스템 프롬프트와 같은 핵심 지침이 문맥 속 노이즈에 묻혀 모델의 수행 능력이 급격히 저하된다.