SPEED-Bench: Speculative Decoding을 위한 통합 및 다양성 벤치마크

Speculative Decoding(SD)은 LLM 추론 속도를 높이는 핵심 기술이지만, 기존 벤치마크는 데이터 다양성이 부족하고 실제 서비스 환경을 반영하지 못하는 한계가 있었다. SPEED-Bench는 다양한 도메인과 실제 운영 환경의 처리량(Throughput)을 정밀하게 측정할 수 있는 표준을 제공하여 SD 알고리즘의 실질적인 성능 비교를 가능하게 한다.

LLM의 추론 과정은 한 번에 하나의 토큰을 생성하는 Autoregressive Decoding 방식을 따르는데, 이는 GPU의 연산 능력보다 메모리 대역폭에 의해 속도가 제한되는 Memory-bound 문제를 겪는다. Speculative Decoding은 상대적으로 가벼운 Draft Model이 미래의 토큰 여러 개를 미리 예측(Speculate)하고, 이를 거대한 Target Model이 한 번에 검증(Verify)함으로써 한 번의 연산으로 여러 토큰을 생성해 속도를 높이는 원리이다.

기존에는 이러한 SD의 성능을 측정할 때 무작위 토큰(Random Tokens)을 사용하거나 매우 짧은 문장 위주로 평가하는 경향이 있었다. 하지만 SD의 핵심인 '예측 성공률(Acceptance Rate)'은 입력 데이터의 문맥적 의미와 복잡도에 따라 크게 달라진다. 예를 들어, 정형화된 코드 작성 시에는 예측이 쉽지만 창의적인 글쓰기에서는 예측이 어려워 성능 이득이 줄어든다.

SPEED-Bench는 이러한 데이터 의존성을 해결하기 위해 의미론적 유사도가 낮은 다양한 데이터를 선별하고, 실제 서비스 환경처럼 긴 문맥과 높은 동시 요청 상황을 시뮬레이션한다. 이를 통해 개발자는 자신의 서비스 도메인에서 SD가 실제로 어느 정도의 속도 향상을 가져올지 정확하게 예측할 수 있게 된다.

SPEED-Bench는 두 가지 주요 데이터 분할과 통합 측정 프레임워크로 구성된다. 첫 번째인 Qualitative Split은 18개 소스에서 수집된 데이터를 11개 카테고리로 분류한 뒤, 임베딩 기반의 Greedy Selection 알고리즘을 사용하여 카테고리 내 의미적 중복을 최소화하도록 설계됐다.

두 번째인 Throughput Split은 입력 시퀀스 길이(ISL)를 1k, 2k, 8k, 16k, 32k의 5개 버킷으로 고정하고, 각 버킷당 1,536개의 샘플을 배치했다. 이는 배치 사이즈(Batch Size) 변화에 따른 처리량-지연 시간 Pareto 곡선을 안정적으로 도출하기 위함이다. 데이터는 도메인 엔트로피에 따라 Low(코드), Mixed(STEM), High(창의적 글쓰기)로 구분된다.

측정 프레임워크는 Python의 asyncio 기반 비동기 이벤트 루프를 사용하여 다중 요청 상황을 모방한다. 외부에서 토큰화(Tokenization)를 수행한 뒤 엔진에 전달함으로써, 서로 다른 추론 엔진(vLLM, TensorRT-LLM 등) 간의 전처리 로직 차이를 배제하고 순수하게 SD 알고리즘과 엔진의 최적화 성능만을 비교할 수 있도록 구현됐다.

실험 결과, 무작위 토큰을 사용한 기존 방식은 실제 데이터 대비 처리량을 평균 23% 과대평가하는 것으로 나타났다. 이는 무작위 토큰이 모델로 하여금 단순한 응답을 유도하여 예측 성공률(AR)을 비정상적으로 높이기 때문이다. 또한, Mixture-of-Experts(MoE) 모델의 경우 무작위 토큰이 특정 전문가(Expert)에게만 부하를 집중시키는 Expert Imbalance 현상을 유발하여 정확한 벤치마킹을 방해함을 확인했다.

추론 엔진 비교에서는 TensorRT-LLM이 통합된 CUDA Graph를 활용하여 vLLM보다 높은 피크 처리량을 기록했다. vLLM은 멀티 엔진 구조로 인해 호스트 통신 오버헤드가 발생하지만, 동적 드래프팅 전략에서는 더 높은 유연성을 보였다. 또한, EAGLE3와 같은 드래프터에서 흔히 사용되는 Vocabulary Pruning(어휘 사전 가지치기) 기법이 다국어(Multilingual) 도메인에서는 성능을 심각하게 저하시킨다는 사실을 정량적으로 입증했다.

SPEED-Bench는 Speculative Decoding의 핵심 지표로 Conditional Acceptance Rate(AR)와 Acceptance Length(AL)를 사용한다. AL은 한 번의 검증 단계에서 생성되는 평균 토큰 수로, AL = 1 + Σ(Π AR_j) 공식을 통해 계산된다. 여기서 1은 항상 생성되는 검증 토큰을 의미한다.

아키텍처 측면에서 Native Multi-Token Prediction(MTP) 헤드를 가진 Qwen3-Next와 같은 모델이 사후 학습된 EAGLE3 드래프터보다 더 높은 정확도 유지력을 보임을 확인했다. 또한, 입력 시퀀스 길이(ISL)가 드래프터의 학습 길이를 초과할 경우 정확도가 급격히 하락하며, 이를 해결하기 위해 YaRN Scaling과 같은 기법을 추론 시점에 적용하는 것이 필수적임을 기술적으로 분석했다.

현재 측정 프레임워크는 Python의 Global Interpreter Lock(GIL) 제약으로 인해 매우 높은 처리량(배치 사이즈 256 이상) 상황에서 클라이언트 측 오버헤드가 발생할 수 있다. 또한, 현재는 드래프팅 체인 방식에 집중하고 있으며 트리 기반 검증(Tree-based verification)에 대한 최적화 분석은 향후 과제로 남겨두고 있다.