H100 기반 vLLM 서빙 벤치마크: MoE와 FP8의 성능 우위 확인

실용적 조언

서빙 처리량이 중요한 서비스라면 Dense 모델보다 활성 파라미터가 적은 MoE 모델 채택을 우선적으로 고려하라.
H100과 같은 최신 GPU를 사용한다면 FP8 양자화를 적극 도입하여 대역폭 병목을 해소하라.

섹션별 상세

MoE 아키텍처가 동일 규모의 Dense 모델보다 압도적인 처리량을 기록했다. Gemma E2B 모델은 Gemma 31B Dense 모델 대비 약 14배 높은 처리량을 보였으며, 부하 상황에서의 TTFT도 55ms 대 4.1초로 큰 격차를 나타냈다. 이는 디코딩 단계가 대역폭 제한(Bandwidth-bound) 특성을 가지기 때문에, 토큰당 활성 파라미터 수를 줄이는 MoE 방식이 HBM 트래픽을 직접적으로 절감한 결과이다.

FP8 양자화 적용 시 MoE 모델에서 성능 향상 폭이 Dense 모델보다 훨씬 크게 나타났다. Qwen 35B MoE 모델은 FP8 적용 시 BF16 대비 처리량이 73% 증가한 반면, Qwen 27B Dense 모델은 27% 향상에 그쳤다. Dense 모델의 27% 향상은 가중치 데이터 전송량 절감에 따른 일반적인 수치이나, MoE에서의 73% 급증은 vLLM의 전문가 라우팅 커널 최적화나 더 심각했던 대역폭 병목 해소 때문으로 분석됐다.

동시성(Concurrency) 증가에 따른 스케일링 효율에서도 MoE가 우위를 점했다. 동시성을 1에서 16으로 높였을 때 E2B 모델은 13.2배의 성능 향상을 보였으나, 35B MoE BF16 모델은 4.1배 향상에 머물렀다. 이는 모델 규모가 클수록 더 이른 시점에 하드웨어 대역폭 포화 상태에 도달함을 시사하며, 효율적인 서빙을 위한 모델 구조 선택의 중요성을 뒷받침한다.

용어 해설

전문가 혼합(MoE): — 모델의 전체 파라미터 중 일부 전문가(Expert) 네트워크만 활성화하여 추론하는 아키텍처이다. 토큰당 계산량은 줄이면서 모델의 전체 용량은 유지할 수 있어 추론 효율성이 매우 높다.
첫 번째 토큰 생성 시간(TTFT): — 사용자의 요청 후 첫 번째 응답 토큰이 출력될 때까지 걸리는 지연 시간이다. 실시간 상호작용 성능을 결정하는 핵심 지표로, 모델의 크기와 하드웨어 대역폭에 영향을 받는다.
8비트 부동 소수점(FP8): — 데이터를 8비트 정밀도로 표현하는 수치 형식이다. 기존 BF16 대비 메모리 사용량과 대역폭 요구량을 절반으로 줄여 추론 속도를 대폭 향상시키며 최신 GPU에서 가속을 지원한다.
대역폭 제한(Bandwidth-bound): — 연산 장치의 계산 능력보다 메모리에서 데이터를 읽어오는 속도가 느려 전체 성능이 제한되는 상태이다. LLM 추론의 디코딩 단계에서 주로 발생하며 HBM 성능이 중요하게 작용한다.

언급된 도구

vLLM추천

LLM 추론 및 서빙 엔진