H100 1개에서 8종의 소형 및 중형 모델 서빙 벤치마크 결과

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

단일 H100 80GB 환경에서 vLLM을 사용해 8종의 모델을 벤치마크한 결과, MoE 아키텍처와 FP8 양자화 조합이 추론 효율성에서 압도적인 성능을 보였다.

배경

단일 NVIDIA H100 80GB GPU 환경에서 실제 프로덕션에 적합한 소형 및 중형 언어 모델을 찾기 위해 vLLM 0.19.1을 사용하여 성능 비교 실험을 진행했다.

의미 / 영향

이 벤치마크는 프로덕션 환경에서 모델 선택 시 단순 파라미터 규모보다 아키텍처(MoE vs Dense)와 양자화 형식이 실제 성능에 더 결정적인 요인임을 입증했다. 특히 H100 환경에서는 FP8과 MoE의 조합이 비용 대비 성능을 극대화하는 표준 아키텍처로 자리 잡을 것으로 보인다.

커뮤니티 반응

작성자가 직접 수행한 구체적인 벤치마크 수치와 아키텍처별 분석에 대해 긍정적인 반응이 예상되며, 실무적인 모델 선택 가이드를 제공한다.

주요 논점

01찬성다수

서빙 효율성을 위해 MoE 아키텍처와 FP8 양자화를 적극 도입해야 한다.

합의점 vs 논쟁점

합의점

단일 H100에서 30B급 Dense 모델은 실시간 서빙용으로 부적합하다.
MoE 모델이 Dense 모델보다 하드웨어 자원 활용 효율이 높다.

실용적 조언

지연 시간에 민감한 서비스라면 Gemma E2B 계열을 우선 고려하십시오.
H100에서 MoE 모델을 서빙할 때는 반드시 FP8 양자화를 적용하여 HBM 병목을 줄이십시오.
31B Dense 모델은 서빙용이 아닌 배치 처리용으로 분류하여 운영하십시오.

섹션별 상세

소형 전문가 모델(MoE)이 동일 GPU 환경에서 밀집(Dense) 모델보다 압도적인 성능을 기록했다. Gemma E2B 모델은 Gemma 31B Dense 모델 대비 약 14배 높은 처리량을 달성했다. 동시 요청 16개 상황에서 Gemma E2B의 TTFT는 55ms인 반면, 31B 모델은 4.1초까지 치솟아 실시간 서빙에 부적합함이 확인됐다. 이는 서빙 워크로드에서 파라미터 수보다 아키텍처 구조가 성능에 더 큰 영향을 미친다는 점을 시사한다.

H100 GPU에서 8개 모델의 동시 요청 수에 따른 처리량(Throughput)과 첫 토큰 생성 시간(TTFT) 비교 차트이다. — ChartGemma E2B 모델이 동시 요청 증가에 따라 가장 가파른 처리량 상승 곡선을 그리며 최대 3,180 tok/s에 도달함을 보여준다. 반면 Gemma 31B Dense 모델은 TTFT가 로그 스케일 차트에서 급격히 상승하여 부하 상황에서의 성능 저하가 뚜렷하게 나타난다.

FP8 양자화가 Dense 모델보다 MoE 모델에서 더 큰 성능 향상을 이끌어냈다. Qwen 35B MoE 모델은 FP8 적용 시 BF16 대비 처리량이 73% 향상되었으나, Qwen 27B Dense 모델은 27% 향상에 그쳤다. MoE 모델은 HBM을 통한 전문가 가중치 이동이 주요 병목 지점인데, FP8이 이 데이터 트래픽을 절반으로 줄여주기 때문이다. 따라서 H100에서 MoE 모델을 운용할 때는 FP8 사용이 필수적인 최적화 전략으로 평가된다.

30B급 이상의 Dense 모델은 단일 H100에서 실시간 서빙 모델로 사용하기 어렵다는 결론이 도출됐다. Gemma 31B Dense 모델의 경우 동시 요청이 1개에서 16개로 늘어날 때 TTFT가 130ms에서 4159ms로 급격히 악화됐다. 이러한 모델은 실시간 채팅 서비스보다는 배치 처리(Batch processing) 용도로 제한하여 사용하는 것이 적절하다. 실시간성이 중요한 서비스에는 Gemma 4 E2B-it와 같은 경량 모델이 권장된다.

실무 Takeaway

실시간 채팅 서비스에는 낮은 TTFT(55ms)를 기록한 Gemma 4 E2B-it 모델이 가장 적합하다.
품질과 속도의 균형이 필요한 경우 FP8을 적용한 Qwen 3.6 35B-A3B 모델이 약 1,200 tok/s의 우수한 성능을 제공한다.
H100 하드웨어에서 MoE 아키텍처를 사용할 때는 메모리 대역폭 병목 해소를 위해 FP8 양자화를 기본으로 적용해야 한다.

언급된 도구

vLLM추천

LLM 추론 및 서빙 엔진