Helion 커널을 위한 LLM 기반 자동 튜닝: 성능 최적화 시간 6.7배 단축

섹션별 상세

01

기존 Helion 커널 튜닝은 LFBO를 사용하여 수백 번의 컴파일 및 벤치마크 과정을 거쳐야 하므로 시간이 많이 소요되는 문제가 있었다.

02

LLM 기반 자동 튜너는 커널 소스 코드와 워크로드 정보를 바탕으로 유망한 설정 후보를 생성하여 탐색 공간을 효율적으로 좁힌다.

json

{"block_sizes":[1],"load_eviction_policies":["last","last","last","last","last"],"reduction_loops":[null]}

Helion 컴파일러가 커널 구조를 분석하여 도출한 초기 시드 설정 예시

json

{"configs":[ {"block_sizes":[1],"load_eviction_policies":["last", "..."],"num_warps":8}, {"block_sizes":[8],"load_eviction_policies":["last", "..."],"num_warps":8,"num_stages":2} ]}

LLM이 제안한 커널 설정 후보군 예시

03

33개 커널 인스턴스 벤치마크 결과, LLM 튜너는 기존 LFBO 대비 10배 적은 설정으로 동등한 성능(1.009배 지연 시간)을 달성했다.

LLM-guided 방식과 LFBO 방식의 커널당 평가된 설정 수 비교 차트. — ChartLLM-guided 방식이 LFBO 대비 훨씬 적은 수의 설정을 평가하여 탐색 효율성이 높음을 보여준다.

커널당 자동 튜닝 비용(시간) 비교 차트. — ChartLLM-guided 방식이 LFBO 대비 6.7배 더 빠르게 튜닝을 완료함을 시각적으로 나타낸다.

탐색 노력 대비 수렴 속도 비교 차트. — ChartLLM-guided 방식이 전체 LFBO 예산의 약 7% 내에서 빠르게 최적 성능에 도달함을 보여준다.

B200 GPU에서의 커널별 성능 비율 비교 차트. — ChartLLM-guided 튜너가 대부분의 커널에서 LFBO와 대등한 성능을 보임을 나타낸다.

04

LLM이 미세 조정에 취약한 경우, LLM으로 초기 설정을 잡고 LFBO로 정밀 튜닝하는 하이브리드 전략을 통해 성능 격차를 해소하고 3배 빠른 튜닝 시간을 확보했다.

하이브리드 방식이 성능 격차를 줄이는지 확인하는 차트. — Chart하이브리드 전략이 LLM-only 방식에서 발생하는 성능 격차를 효과적으로 해소함을 보여준다.

LLM-only, Hybrid, Full LFBO 간의 탐색 노력 및 튜닝 시간 비교 차트. — Chart하이브리드 방식이 LFBO보다 훨씬 적은 탐색 노력과 시간으로 성능을 최적화함을 보여준다.

05

Opus-4.8, gpt-5.5, Sonnet-4.6 등 다양한 모델에서 유사한 성능을 보여 LLM 모델 종류에 의존하지 않는 실용적인 튜닝 방식임이 확인됐다.

용어 해설

Helion: — PyTorch의 도메인 특화 언어(DSL)로, 성능 이식성이 뛰어난 ML 커널을 작성하고 최적화하는 데 사용됨.
Likelihood-Free Bayesian Optimization(LFBO): — 벤치마크 데이터를 기반으로 유망한 설정을 예측하여 최적화하는 기법. 기존 Helion의 기본 튜너로 사용됨.
커널 자동 튜닝(Kernel Autotuning): — GPU 커널의 타일 크기, 블록 크기 등 다양한 설정값을 조합하여 하드웨어에서 최상의 성능을 내는 설정을 찾는 과정.

기술

PyTorch
Helion
LFBO
Claude Opus-4.8
GPT-5.5
Claude Sonnet-4.6

Helion 커널을 위한 LLM 기반 자동 튜닝: 성능 최적화 시간 6.7배 단축

섹션별 상세

용어 해설

기술

관련 토론

댓글

관련 기사

Multi-GPU AI 커널 개발 단순화와 LLM의 최적화 능력 평가

CUDA Agent, CUDA 커널 최적화 성능 입증

관련 토론

댓글

관련 기사

Multi-GPU AI 커널 개발 단순화와 LLM의 최적화 능력 평가

CUDA Agent, CUDA 커널 최적화 성능 입증