Ada-MK: LLM 추론을 위한 자동화된 DAG 기반 검색 및 적응형 메가커널 최적화

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

LLM 실시간 추론에서 디코드 단계의 빈번한 커널 호출은 전체 지연 시간의 14.6%를 차지하는 병목이다. 기존 메가커널 방식은 이식성과 효율성 사이의 상충 관계가 존재하며, 런타임 동적 스케줄링으로 인한 분기 페널티가 발생한다. Ada-MK는 MLIR 기반 DAG 오프라인 검색으로 최적 실행 경로를 고정하고, 3차원 공유 메모리 제약 모델을 적용해 메모리 사용량을 50% 절감한다. NVIDIA L20 환경에서 TensorRT-LLM 대비 23.6%, vLLM 대비 50.2%의 처리량 향상을 기록했다.

대상 독자

프로덕션 환경에서 LLM 추론 성능을 최적화하려는 엔지니어

의미 / 영향

이 기술은 LLM 추론의 핵심 병목인 커널 호출 오버헤드를 제거하여 실시간 광고 시스템과 같은 지연 시간에 민감한 서비스의 효율성을 획기적으로 높인다. 특히 기존 추론 엔진에 플러그인 형태로 통합 가능하여 실무 적용성이 높다.

섹션별 상세

디코드 단계에서 발생하는 수천 개의 커널 호출은 LLM 추론의 주요 지연 요인이다.

Ada-MK는 3차원 공유 메모리 제약 모델과 K-차원 분할을 통해 피크 공유 메모리 사용량을 50% 줄인다.

MLIR 기반의 세밀한 DAG 오프라인 검색을 통해 런타임 분기를 완전히 제거하고 최적의 실행 경로를 고정한다.

TensorRT-LLM에 플러그인 형태로 통합되어 프리필 처리량과 디코드 지연 시간을 동시에 최적화한다.

NVIDIA L20 GPU에서 vLLM 대비 50.2%, 기존 TensorRT-LLM 대비 23.6% 높은 단일 배치 처리량을 달성했다.

언급된 리소스

논문Ada-MK: Adaptive MegaKernel Optimization via Automated DAG-based Search for LLM Inference