TL;DR
LLM 추론은 메모리 대역폭에 제한되는 특성 때문에 속도 개선이 어렵다. 이를 해결하기 위해 작은 모델이 토큰을 미리 제안하고 큰 모델이 검증하는 Speculative Decoding이 널리 쓰이지만, 제안 모델이 긴 문맥이나 특정 템플릿에서 성능이 급격히 저하되는 문제가 있었다. 연구팀은 이 현상의 원인을 'Attention Drift'로 정의했다. 제안 모델이 토큰을 생성할수록 주의(Attention)가 프롬프트에서 멀어져 최근 생성된 토큰에만 쏠리는 현상이다. 이는 은닉 상태(Hidden-state)의 수치적 크기가 단계별로 누적되면서 발생하는 불일치 때문임이 밝혀졌다.
이를 해결하기 위해 EAGLE 3.1 아키텍처에 Post-Norm 구조를 도입했다. 각 단계의 출력을 정규화함으로써 수치적 불안정성을 제거했고, 결과적으로 긴 문맥에서도 높은 토큰 수락률을 유지하며 추론 속도를 안정적으로 가속화할 수 있게 되었다. EAGLE 3.1은 기존 방식 대비 긴 문맥에서도 성능 저하 없이 안정적인 가속을 제공하며, 실제 서비스 환경에서 프롬프트 길이에 구애받지 않고 일관된 추론 속도를 유지할 수 있게 해준다. 이는 대규모 LLM 서빙 비용 절감으로 이어진다.
챕터별 상세
LLM 추론의 병목 현상과 과제
Memory-bound란 연산 장치의 속도보다 메모리에서 데이터를 읽어오는 속도가 느려 전체 성능이 제한되는 상황을 의미한다.
Speculative Decoding의 기본 원리
토큰 수락률(Acceptance Rate)이 높을수록 Speculative Decoding의 가속 효과가 커진다.
EAGLE과 Tree-based Drafting
트리 구조 드래프팅은 여러 개의 가능한 토큰 시퀀스를 동시에 검증하여 최적의 경로를 찾을 확률을 높인다.
Attention Drift 현상의 발견
Attention 메커니즘은 입력 데이터 중 중요한 부분에 가중치를 두는 방식인데, 드리프트는 이 가중치가 엉뚱한 곳으로 쏠리는 것을 말한다.
Magnitude Mismatch와 Post-Norm 해결책
Post-Norm은 연산 후에 정규화를 수행하여 값의 범위가 일정하게 유지되도록 강제한다.
실무 적용 및 생산성 영향
일관된 추론 속도는 사용자 경험(UX)과 서버 자원 계획 수립에 매우 중요하다.
용어 해설
- 추측 디코딩(Speculative Decoding)
- — 작은 모델(Drafter)이 여러 토큰을 미리 생성하고 큰 모델(Target)이 이를 한 번에 검증하여 추론 속도를 높이는 기법이다. 연산량이 많은 큰 모델의 실행 횟수를 줄여 전체적인 지연 시간을 단축하는 데 핵심적인 역할을 한다.
- 어텐션 드리프트(Attention Drift)
- — 모델이 토큰을 생성할수록 초기 입력 프롬프트보다 최근에 생성된 토큰에 과도하게 집중하게 되는 현상이다. 이로 인해 문맥 유지 능력이 떨어지고 추론의 정확도가 낮아지는 문제가 발생하며, 특히 Speculative Decoding의 Drafter 모델에서 두드러진다.
- 포스트 노름(Post-Norm)
- — 레이어의 연산이 끝난 직후에 정규화(Normalization)를 수행하는 아키텍처 구조이다. 은닉 상태의 수치적 크기가 발산하는 것을 막아 수치적 안정성을 제공하며, EAGLE 3.1에서 Attention Drift를 해결하는 핵심 기법으로 사용됐다.
- 은닉 상태(Hidden State)
- — 신경망 내부에서 데이터의 특징을 추상화하여 저장하는 벡터 표현이다. 각 레이어를 거치며 정보가 가공되며, 이 값의 크기가 적절히 유지되어야 모델이 안정적으로 작동한다.
- 멀티 토큰 예측(MTP)
- — 한 번의 추론 단계에서 다음 하나의 토큰이 아닌 여러 개의 토큰을 동시에 예측하는 기술이다. Speculative Decoding에서 제안 모델의 효율성을 극대화하기 위해 사용된다.
언급된 리소스
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
