vLLM에 Helion 커널 통합: FP8 추론 성능 최적화 사례

섹션별 상세

01

vLLM은 고성능 LLM 서빙 프레임워크이나 복잡한 커널 최적화가 필요하다. Helion은 PyTorch와 유사한 구문으로 타일 프로그래밍 모델을 지원하여 커널 개발 생산성을 높인다.

02

Qwen3 모델의 FP8 추론을 위해 기존 vLLM 커널을 Helion 구현체로 교체했다. 동적 Per-Token 및 Per-Group 양자화 패턴에 맞춰 커널을 재작성하고 통합했다.

03

Helion의 AOT(Ahead-of-Time) 자동 튜닝 인프라를 활용하여 다양한 하드웨어 타겟과 입력 형상에 최적화된 커널 구성을 생성했다. 이는 실시간 추론 시 적절한 커널을 디스패치하는 데 기여한다.

04

H100 GPU에서 Helion 커널은 기존 vLLM 구현 대비 전반적인 처리량 향상을 기록했다. 특히 Per-Token 양자화 시 1.05배 이상의 성능 개선이 관찰되었다.

05

B200 GPU에서의 GEMM 커널 성능은 Triton 코드 생성 제한으로 인해 일부 과제를 남겼다. 향후 CuteDSL 백엔드 도입 등을 통해 성능 격차를 해소할 계획이다.

FP8 양자화(FP8 Quantization): — 모델 가중치와 활성화 값을 8비트 부동소수점 형식으로 변환하여 메모리 사용량을 줄이고 연산 속도를 높이는 기법이다. FP16 대비 정밀도는 유지하면서 처리량을 극대화할 수 있어 최신 GPU 추론에서 필수적으로 사용된다.
커널 융합(Kernel Fusion): — 독립적으로 실행되는 여러 GPU 연산 커널을 하나의 커널로 통합하여 실행하는 최적화 기법이다. 메모리 읽기/쓰기 횟수를 줄여 데이터 이동 병목을 해소하고 GPU 활용도를 높인다.
자동 튜닝(Autotuning): — 특정 하드웨어와 워크로드에 최적화된 커널 설정을 찾기 위해 다양한 구성 공간을 탐색하고 가장 효율적인 구현을 선택하는 과정이다. Helion은 이를 통해 하드웨어별 성능을 극대화한다.
행렬 곱셈 연산(GEMM): — General Matrix Multiply의 약자로, 신경망의 선형 계층에서 수행되는 핵심 연산이다. LLM 추론 성능의 대부분을 결정하며, 효율적인 GEMM 커널 구현이 전체 처리량에 직결된다.
CUDA 그래프(CUDA Graph): — 일련의 GPU 작업들을 그래프 형태로 미리 정의하여 실행 오버헤드를 줄이는 기술이다. 반복적인 커널 호출 시 디스패치 오버헤드를 제거하여 추론 지연 시간을 최소화한다.