섹션별 상세
SPEED-Bench는 질적 평가(Qualitative)와 처리량 평가(Throughput)라는 두 가지 핵심 스플릿으로 구성되어 SD의 다각적인 성능을 측정한다. 질적 스플릿은 18개 소스에서 수집한 11개 카테고리의 데이터를 임베딩 유사도 최소화 알고리즘을 통해 선별하여 최적의 도메인 다양성을 확보했다. 처리량 스플릿은 1k에서 32k에 이르는 다양한 입력 시퀀스 길이(ISL)와 최대 512의 배치 사이즈를 지원하여 실제 서비스 환경에서의 성능 병목 지점을 파악할 수 있게 설계되었다.
통합 측정 프레임워크를 통해 서로 다른 추론 엔진 간의 공정한 비교가 가능하도록 토큰화 및 프롬프트 포맷팅을 외부에서 처리한다. TensorRT-LLM, vLLM, SGLang과 같은 프로덕션급 엔진과 직접 통합되어 스트리밍 응답의 타이밍 정보, 수락 길이(Acceptance Length), 단계별 지연 시간 등을 정밀하게 캡처한다. 이를 통해 엔진별 구현 차이로 인한 성능 왜곡을 방지하고 순수한 SD 알고리즘의 효율성을 평가할 수 있다.
bash
mpirun -n 1 --oversubscribe python3 run.py --model_dir meta-llama/Llama-3.3-70B-Instruct --tokenizer meta-llama/Llama-3.3-70B-Instruct --draft_model_dir yuhuili/EAGLE3-LLaMA3.3-Instruct-70B --dataset speed --dataset_path data/speed/qualitative --tp_size 8 --ep_size 1 --draft_length 3 --output_length 4096 --engine TRTLLM --concurrency 32 --show_progressSPEED-Bench 측정 프레임워크를 사용하여 Llama 3.3 70B 모델과 EAGLE3 드래프트 모델의 투기적 디코딩 성능을 측정하는 실행 예시
실험 결과, 코딩이나 수학 같은 저엔트로피 도메인에서는 높은 수락률을 보이지만 역할극이나 글쓰기 같은 고엔트로피 도메인에서는 예측 난이도가 급상승하는 도메인 의존성이 확인되었다. 또한, 모델 학습 시점부터 통합된 MTP(Multi-Token Prediction) 헤드가 사후 학습된 EAGLE3 같은 드래프트 모델보다 우수한 성능을 보였다. 특히 어휘 사전 가지치기(Vocabulary Pruning)와 같은 최적화 기법이 다국어나 RAG 환경의 롱테일 데이터에서 성능 저하를 유발할 수 있음을 밝혀냈다.
기존 벤치마크에서 흔히 사용되던 랜덤 토큰 입력 방식이 실제 성능을 심각하게 왜곡한다는 점을 수치로 증명했다. 랜덤 토큰은 모델이 노이즈를 인식하고 단순한 응답을 내놓게 유도하여 수락 길이를 인위적으로 부풀리며, MoE 모델의 전문가 라우팅 패턴을 단순화시킨다. SPEED-Bench의 실제 워크로드를 사용했을 때와 비교하면 랜덤 토큰 방식은 처리량을 약 23% 과대평가하는 것으로 나타나, 실제 배포를 위해서는 현실적인 데이터셋 기반의 평가가 필수적임을 시사한다.
용어 해설
- 투기적 디코딩(Speculative Decoding)
- — 가벼운 드래프트 모델이 여러 토큰을 미리 예측(Speculate)하고, 이를 거대 모델(Target Model)이 한 번에 병렬로 검증하여 추론 속도를 높이는 기법이다. 타겟 모델의 출력 분포를 그대로 유지하면서도 추론 지연 시간을 대폭 줄일 수 있어 실시간 서비스 최적화에 필수적이다.
- 수락률(Acceptance Rate)
- — 드래프트 모델이 제안한 토큰 후보들 중 타겟 모델에 의해 최종적으로 채택된 비율을 의미한다. 수락률이 높을수록 드래프트 모델의 예측 정확도가 높다는 뜻이며, 이는 곧 투기적 디코딩을 통한 전체 추론 속도 향상으로 직결된다.
- 입력 시퀀스 길이(Input Sequence Length)
- — 모델에 입력되는 전체 토큰의 개수를 의미하며, ISL이라고도 불린다. 시퀀스 길이에 따라 추론 과정이 연산 중심(Compute-bound)에서 메모리 대역폭 중심(Memory-bound)으로 변화하므로, 실제 운영 환경의 성능을 측정할 때 매우 중요한 변수이다.
- 다중 토큰 예측(Multi-Token Prediction)
- — 모델 학습 시 다음 토큰 하나만 예측하는 대신, 여러 개의 미래 토큰을 동시에 예측하도록 학습시키는 기법이다. 투기적 디코딩에서 별도의 드래프트 모델 없이도 자체적인 예측 헤드(MTP Head)를 통해 높은 수락률을 달성할 수 있게 한다.
- 어휘 사전 가지치기(Vocabulary Pruning)
- — 추론 시 연산량을 줄이기 위해 출력 레이어의 어휘 사전 중 사용 빈도가 낮은 토큰들을 제거하는 최적화 기법이다. 연산 효율은 높아지지만, 다국어나 특수 도메인 같은 롱테일(Long-tail) 데이터에서 예측 정확도가 떨어지는 부작용이 발생할 수 있다.
기술
- TensorRT-LLM
- vLLM
- SGLang
- EAGLE3
- Llama 3.3
- Python
활용 사례
- LLM 추론 가속화
- 실제 서비스 환경 성능 벤치마킹
- 드래프트 모델 성능 검증
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 03. 19.수집 2026. 03. 19.출처 타입 RSS
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
