Transformer의 Attention Sink: 활용, 해석 및 완화에 관한 서베이

Transformer 모델이 왜 정보가 없는 특정 토큰에 과도하게 집중하는지(Attention Sink)를 체계적으로 분석한 최초의 종합 보고서이다. 이 현상을 이해하면 LLM의 추론 속도를 획기적으로 높이고, 환각 현상을 줄이며, 저정밀도 양자화 시 발생하는 성능 저하 문제를 해결할 수 있는 실마리를 얻을 수 있다.

Transformer의 핵심인 Attention Mechanism은 시퀀스 내 각 토큰이 다른 토큰들과 얼마나 관련 있는지 계산한다. 이때 Softmax 함수를 사용하여 관련성 점수의 합이 항상 1이 되도록 정규화한다. 하지만 특정 쿼리가 문맥 내 어떤 토큰과도 의미적으로 관련이 없을 때도 Softmax의 특성상 점수의 합은 1이 되어야 하므로, 모델은 어딘가에 점수를 몰아주어야 하는 상황에 직면한다.

이 논문은 모델이 이러한 '의미 없는 점수'를 처리하기 위해 시퀀스 시작 부분의 [BOS]나 구분자인 [SEP] 같은 정보량이 적은 토큰을 수치적 쓰레기통(Sink)으로 활용한다는 점을 설명한다. 즉, 모델은 중요한 정보가 없을 때 시스템적으로 안전한 특정 위치에 Attention을 집중시켜 나머지 연산의 안정성을 유지하려 한다.

결과적으로 Attention Sink는 단순한 오류가 아니라 Softmax의 제약 조건 하에서 모델이 학습한 최적화 전략의 결과물이다. 이를 이해하면 무의미한 토큰에 할당된 Attention을 유의미한 곳으로 재배치하거나, 해당 토큰만 정밀하게 관리하여 전체 모델의 효율성을 극대화할 수 있다.

본 논문은 Attention Sink 연구를 세 가지 단계로 나누어 설명한다. 첫째, 활용(Utilization) 단계에서는 Attention Sink 토큰이 수치적 닻(Anchor) 역할을 한다는 점에 착안한다. [입력 시퀀스 → Sink 토큰 식별 → 해당 토큰의 KV 캐시 영구 보존 → 긴 문맥에서도 성능 유지] 순으로 연산이 이루어지는 StreamingLLM 등의 기법을 다룬다.

둘째, 해석(Interpretation) 단계에서는 이 현상이 왜 발생하는지 수학적으로 분석한다. Softmax의 'Sum-to-one' 제약이 쿼리에 적절한 키가 없을 때 로그-점수(Logit)를 극단적인 값으로 밀어내어 이상치(Outlier)를 만든다는 점을 밝힌다. [가중치 이상치 → 활성화 값 이상치 증폭 → Attention 집중 → Sink 형성]의 인과 관계를 Outlier Circuits 이론으로 정립한다.

셋째, 완화(Mitigation) 단계에서는 구조적 결함을 수정하는 전략을 제시한다. Softmax 대신 Sigmoid를 사용하거나 분모에 상수를 더해 합이 1이 되지 않아도 되게 만드는 Modified Softmax, 또는 별도의 게이트 회로를 추가하여 불필요한 Attention 출력을 차단하는 Gated Attention 기법 등을 체계화한다.

다양한 모델에서의 실험 결과, Attention Sink 토큰은 전체 Attention 헤드의 약 98%에서 최대 점수를 받는 것으로 확인됐다. 특히 Llama-2-7B 모델 분석 결과, 초기 레이어에서는 국소적인 Attention 패턴을 보이다가 깊은 레이어로 갈수록 첫 번째 토큰에 Attention이 극단적으로 쏠리는 현상이 관찰됐다.

완화 기법인 Softpick을 적용했을 때, 기존 Softmax 기반 모델에서 63.41%에 달하던 Sink Rate를 0.00%로 제거할 수 있었으며, 이는 활성화 값의 첨도(Kurtosis)를 33,510에서 340으로 대폭 낮추어 8비트 이하의 양자화 효율을 극대화했다. 또한 StreamingLLM 기법을 통해 첫 4개의 Sink 토큰만 보존해도 수백만 토큰 이상의 무한 시퀀스 생성 시 성능 붕괴(Perplexity 폭발) 없이 안정적인 추론이 가능함을 입증했다.

Attention Sink는 단순한 현상을 넘어 모델의 수치적 안정성을 담당하는 핵심 메커니즘이다. 논문은 이를 'No-Op(No Operation)' 이론으로 설명하는데, 모델이 특정 레이어에서 업데이트가 필요 없을 때 가치 벡터(Value Vector)가 거의 0에 가까운 Sink 토큰에 Attention을 몰아줌으로써 잔차 연결(Residual Connection)에 미치는 영향을 최소화한다는 것이다.

또한 MoE(Mixture-of-Experts) 아키텍처에서는 특정 전문가(Super Experts)가 Sink 토큰 처리를 전담하는 현상이 발견됐다. Qwen3-30B 모델의 경우 6,144개의 전문가 중 단 3개만 제거해도 모델 성능이 완전히 붕괴되는데, 이들이 바로 Sink 토큰의 이상치 활성화를 처리하는 핵심 경로임이 밝혀졌다.

기하학적 관점(Geometric Anchoring)에서는 Sink 토큰이 고차원 표현 공간에서 고정된 참조점 역할을 수행한다. 층이 깊어질수록 다른 일반 토큰들의 벡터 표현이 Sink 토큰의 위치로 수렴하며, 이를 통해 모델이 문맥의 일관성을 유지하는 닻 역할을 수행한다는 점이 코사인 유사도 분석을 통해 증명됐다.

대부분의 연구가 고정된 위치(주로 첫 번째 토큰)의 Sink를 가정하고 있으나, 실제로는 입력 내용이나 레이어 깊이에 따라 Sink 위치가 동적으로 변할 수 있다는 점이 한계로 지적된다. 또한, 현재의 완화 기법들은 대부분 처음부터 다시 학습(Training from scratch)해야 하므로, 이미 학습된 거대 모델에 사후적으로 적용하기 위한 경량 어댑터 기술이 부족한 상황이다.