L40s GPU에서 vLLM과 Humming 커널을 사용해 측정한 end-to-end 처리량(Table 2)

공유된 표는 많은 참여자가 수치와 실험 조건을 확인하려는 반응을 이끌어냈으며, 특히 SLQ 계열의 높은 TPS와 단일 GPU로의 실행 가능성에 관심이 집중되었다. 일부는 양자화로 인한 정확도 혹은 추론 품질 저하 가능성을 우려하며 추가적인 정량적 품질 평가를 요구했다. 전반적으로 성능 이득 자체는 긍정적으로 받아들여졌으나 실무 적용 전 정확도·안정성 검증을 병행해야 한다는 목소리가 높았다.

• 양자화 기법을 적용할 때는 GPU당 TPS뿐 아니라 Reasoning 워크로드에서의 실질적 응답 성능을 함께 측정해야 하며 표에서처럼 ShareGPT와 Reasoning 두 축으로 벤치마크를 수행할 것을 권장한다.
• 대형 모델에 대해선 저비트 구성으로 GPU 수를 줄이는 시도를 먼저 소규모 환경에서 재현해보고 정확도·수치안정성 영향을 검증한 뒤 프로덕션으로 이관해야 한다.

Quantization

— 모델의 가중치나 연산을 더 낮은 정밀도의 표현(예: 8비트, 4비트)으로 변환하여 메모리 사용량과 연산 비용을 줄이는 기법으로, 본 표에서는 SLQ-DL/SLQ-TL과 FP8 같은 저비트 표현이 추론 처리량(TPS)을 어떻게 개선하는지를 비교하는 핵심 개념이다.

FP8

— 8비트 부동소수점 표현 방식으로 연산 정밀도를 낮추는 대신 메모리 대역폭과 연산량을 줄여 추론 처리량을 높이는 포맷이며, 표에서는 FP8이 BF16 대비 어느 정도 TPS 향상을 주는지 수치로 비교되어 있다.

SLQ (SLQ-DL / SLQ-TL)

— 저비트 양자화 계열 중 SLQ 변형으로, DL(데이터-리프팅)과 TL(토폴로지-리프팅) 같은 변종이 존재하며 본 벤치마크에서는 각각의 비트폭과 GPU 사용량을 조절해 처리량과 추론(Reasoning) 성능을 비교하는 데 사용된다.

Throughput (TPS)

— 초당 처리되는 요청 수(TPS)를 의미하며 본 표는 GPU당 TPS로 정규화한 값을 제시하여 동일 GPU 수 기준에서 비트폭 및 양자화 기법이 모델별 end-to-end 처리량에 미치는 영향을 비교한다.