P-EAGLE: vLLM에서 병렬 투기적 디코딩을 통한 LLM 추론 가속화

섹션별 상세

기존 EAGLE 방식은 K개의 드래프트 토큰을 생성하기 위해 K번의 순차적인 포워드 패스가 필요하여 드래프트 모델의 오버헤드가 성능 향상을 저해하는 병목 현상이 발생했다.

bash

vllm serve openai/gpt-oss-20b \
  --speculative-config '{"method": "eagle3", "model": "amazon/gpt-oss-20b-p-eagle", "num_speculative_tokens": 5, "parallel_drafting": true}'

vLLM에서 P-EAGLE을 사용하여 병렬 투기적 디코딩을 활성화하는 실행 명령 예시

NVIDIA B200 카드 1개에서 동시성 1일 때 SPEED-BENCH 성능 비교 차트 — ChartP-EAGLE이 858 TPS를 기록하여 Baseline(456 TPS) 및 기존 EAGLE 3(507 TPS) 대비 압도적인 성능 우위를 점하고 있음을 보여준다. 이는 병렬 드래프팅이 단일 요청 처리 속도를 획기적으로 높일 수 있음을 증명한다.

P-EAGLE은 드래프트 모델의 입력을 구성할 때 아직 생성되지 않은 미래 위치에 대해 학습 가능한 파라미터인 공유 마스크 임베딩과 은닉 상태를 배치하여 병렬 생성을 가능하게 했다.

P-EAGLE 아키텍처 개요 다이어그램 — Diagram타겟 모델에서 추출한 은닉 상태와 새로 생성된 토큰 임베딩을 결합하고, 미래 위치를 위한 학습 가능한 마스크 파라미터를 사용하여 단일 패스로 여러 토큰(t1~t4)을 예측하는 과정을 시각화한다. Step 2의 병렬 입력 구성 방식이 핵심 차별점이다.

긴 문맥 학습 시 발생하는 메모리 문제를 해결하기 위해 시퀀스 분할 알고리즘을 도입하여 8K 이상의 긴 시퀀스에서도 효율적으로 병렬 드래프트 모델을 학습시켰다.

vLLM 통합 과정에서 데이터 레이아웃 불일치 문제를 해결하기 위해 GPU 상에서 직접 배치 메타데이터를 재구성하는 융합된 Triton 커널을 구현하여 오버헤드를 최소화했다.

python

# Copy target hidden states to their new positions
self.hidden_states[out_hidden_state_mapping] = target_hidden_states

# Fill masked positions with the learned Parallel Drafting hidden state
mask = self.is_masked_token_mask[:total_num_output_tokens]
torch.where(
    mask.unsqueeze(1),
    self.parallel_drafting_hidden_state_tensor,
    self.hidden_states[:total_num_output_tokens],
    out=self.hidden_states[:total_num_output_tokens],
)

타겟 모델의 은닉 상태를 복사하고 마스크된 위치를 학습된 파라미터로 채우는 내부 로직

벤치마크 결과 P-EAGLE은 MT-Bench, HumanEval 등에서 EAGLE-3보다 높은 토큰 수락률을 보였으며, 특히 낮은 동시성 환경에서 55-69%의 높은 처리량 향상을 기록했다.

동시성 수준에 따른 MT-Bench 처리량 비교 그래프 — Chart동시성이 1에서 64로 증가함에 따라 P-EAGLE이 모든 구간에서 EAGLE-3보다 높은 TPS를 유지함을 보여준다. 특히 낮은 동시성(c=1)에서 1.55배의 가장 큰 가속 효과가 나타난다.

용어 해설

투기적 디코딩(Speculative Decoding): — 작고 빠른 드래프트 모델이 여러 토큰을 미리 생성하고, 크고 느린 타겟 모델이 이를 한 번에 검증하는 기법이다. 검증 과정이 병렬로 수행되어 전체 추론 속도를 높이는 효과가 있다.
자기회귀 디코딩(Autoregressive Decoding): — 이전 단계에서 생성된 토큰을 다음 단계의 입력으로 사용하여 토큰을 하나씩 순차적으로 생성하는 방식이다. LLM의 표준 생성 방식이지만 속도가 느리다는 단점이 있다.
은닉 상태(Hidden States): — 신경망 내부 계층을 통과하며 생성되는 중간 벡터 표현이다. 모델이 입력 데이터에 대해 파악한 문맥적 정보를 압축하여 담고 있으며, 다음 토큰 예측의 핵심 가이드 역할을 한다.
트라이톤 커널(Triton Kernel): — OpenAI에서 개발한 GPU 프로그래밍 언어 및 컴파일러로 작성된 고성능 연산 단위이다. 복잡한 메모리 작업이나 연산을 하나로 묶어 실행하여 GPU 오버헤드를 최소화한다.
KV 캐시(KV Cache): — Transformer 모델의 Attention 연산 중 생성되는 Key와 Value 벡터를 저장해두는 메모리 영역이다. 이전 토큰의 연산 결과를 재사용하여 추론 시 중복 계산을 방지한다.

기술

vLLM
P-EAGLE
Triton
NVIDIA B200
PyTorch

활용 사례

실시간 코드 생성 보조 도구
고성능 챗봇 서비스
대규모 배치 추론 파이프라인

언급된 리소스

논문P-EAGLE ArXiv Paper

DemoHuggingFace P-EAGLE Models

GitHubvLLM Integration PR

P-EAGLE: vLLM에서 병렬 투기적 디코딩을 통한 LLM 추론 가속화

섹션별 상세

용어 해설

기술

활용 사례

언급된 리소스

관련 토론

댓글

관련 기사

Speculative Decoding: 거대 언어 모델 추론 속도 3배 높이는 법

작은 모델이 큰 모델을 더 빠르게 만드는 방법, Speculative Decoding

큰 모델을 더 빠르게 만드는 작은 모델, Speculative Decoding

관련 토론

댓글

관련 기사

Speculative Decoding: 거대 언어 모델 추론 속도 3배 높이는 법

작은 모델이 큰 모델을 더 빠르게 만드는 방법, Speculative Decoding

큰 모델을 더 빠르게 만드는 작은 모델, Speculative Decoding