Attention Sinks

모델이 실제 의미 정보와 별개로 특정 초기 토큰에 attention을 집중시키는 현상 또는 해당 토큰을 보존하는 기법입니다. 로컬 윈도우와 함께 유지하면 긴 문맥에서 성능 저하를 줄일 수 있습니다.