4개 GPU 벤더, 3개 백엔드 및 3개 브라우저에 걸친 LLM 추론용 WebGPU 디스패치 오버헤드 특성 분석

섹션별 상세

WebGPU는 보안을 위해 연산별 검증(per-operation validation)을 수행하며, 이는 LLM 추론 시 발생하는 수많은 작은 디스패치 과정에서 지연 시간을 누적시키는 원인이 된다.

순차 디스패치 방법론을 적용해 측정한 결과, 기존의 단순 연산 벤치마크가 실제 디스패치 비용을 약 20배 가량 높게 측정하고 있었음이 밝혀졌다.

Vulkan 백엔드에서 커널 퓨전을 적용했을 때 처리량이 53% 향상된 반면 CUDA에서는 효과가 미미하여, WebGPU의 성능 제약이 디스패치 오버헤드에 집중되어 있음이 확인됐다.

PyTorch 기반의 torch-webgpu 백엔드와 FX-to-WebGPU 컴파일러를 구축하여 측정한 결과, 현재 WebGPU는 CUDA 성능의 약 11-12% 수준을 기록했다.

배치 사이즈 1 환경의 LLM 추론에서는 커널의 연산 효율성보다 디스패치 파이프라인의 오버헤드가 전체 성능을 결정하는 지배적인 요인으로 작용함이 나타났다.