LLM 추론 가속을 위한 Speculative Decoding과 Attention Drift 해결 (EAGLE 3.1)

LLM 추론은 메모리 대역폭에 제한되는 특성 때문에 속도 개선이 어렵다. 이를 해결하기 위해 작은 모델이 토큰을 미리 제안하고 큰 모델이 검증하는 Speculative Decoding이 널리 쓰이지만, 제안 모델이 긴 문맥이나 특정 템플릿에서 성능이 급격히 저하되는 문제가 있었다. 연구팀은 이 현상의 원인을 'Attention Drift'로 정의했다. 제안 모델이 토큰을 생성할수록 주의(Attention)가 프롬프트에서 멀어져 최근 생성된 토큰에만 쏠리는 현상이다. 이는 은닉 상태(Hidden-state)의 수치적 크기가 단계별로 누적되면서 발생하는 불일치 때문임이 밝혀졌다.

이를 해결하기 위해 EAGLE 3.1 아키텍처에 Post-Norm 구조를 도입했다. 각 단계의 출력을 정규화함으로써 수치적 불안정성을 제거했고, 결과적으로 긴 문맥에서도 높은 토큰 수락률을 유지하며 추론 속도를 안정적으로 가속화할 수 있게 되었다. EAGLE 3.1은 기존 방식 대비 긴 문맥에서도 성능 저하 없이 안정적인 가속을 제공하며, 실제 서비스 환경에서 프롬프트 길이에 구애받지 않고 일관된 추론 속도를 유지할 수 있게 해준다. 이는 대규모 LLM 서빙 비용 절감으로 이어진다.