KernelBench-X: LLM 생성 GPU 커널 평가를 위한 종합 벤치마크

LLM을 이용한 GPU 커널 자동 생성 연구가 활발하지만, 생성된 코드의 실제 성능과 신뢰성에 대한 검증은 부족했다. 이 논문은 176개의 과제를 통해 LLM이 생성한 커널이 컴파일에는 성공하더라도 실제 하드웨어 효율성이 낮거나 수치적 오류를 범하는 지점을 정확히 짚어내어 향후 연구 방향을 제시한다.

GPU 커널은 수만 개의 스레드가 병렬로 동작하며 메모리에 접근하는 복잡한 구조를 가진다. 기존 LLM은 텍스트 패턴 매칭 능력이 뛰어나 문법적으로 맞는 코드는 잘 작성하지만, 전체 텐서의 레이아웃이나 병렬 연산 간의 수치적 정밀도 유지와 같은 '글로벌 컨트랙트(Global Contract)'를 이해하는 데 한계가 있다.

예를 들어, 단순한 수식 변환은 잘 수행하지만 여러 연산이 합쳐진 Fusion 과제에서는 마스킹된 데이터가 연산 결과에 미치는 영향을 간과하여 수치적 오류를 낸다. 이는 LLM이 코드의 외형적 유사성(Surface Resemblance)은 흉내 내도 하드웨어의 동작 원리와 수치적 엄밀함을 내면화하지 못했음을 의미한다.

결과적으로 현재의 LLM은 '돌아가는 코드'는 만들 수 있어도, 하드웨어 자원을 극한으로 활용하는 '최적화된 코드'를 만드는 데는 여전히 어려움을 겪고 있다. 이를 해결하기 위해서는 단순한 코드 수정을 넘어 하드웨어 성능 피드백을 직접 학습과 생성 과정에 통합해야 한다.

KernelBench-X는 TritonBench-T를 기반으로 세 가지 방향에서 확장된 평가 파이프라인을 구축했다. 첫째, 단순 출력 비교를 넘어 이상치(Outlier) 주입 모드를 포함한 2단계 정밀도 검증 프로토콜을 도입했다. 둘째, 연산 구조에 따른 15가지 분류 체계를 수립하여 어떤 유형의 연산에서 LLM이 실패하는지 분석 가능하게 했다. 셋째, 실행 시간 외에 메모리 대역폭 이용률(IOU)과 연산 처리량 이용률(MFU)을 측정한다.

하드웨어 효율성 지표인 IOU(k)는 측정된 대역폭 BW(k)를 해당 GPU의 최대 대역폭 BW_max로 나눈 값이다. [측정된 초당 바이트 이동량 → 최대 성능 대비 비율 계산 → 0~1 사이의 값 산출] 이를 통해 서로 다른 GPU 환경에서도 커널의 절대적인 효율성을 비교할 수 있다. MFU(k) 역시 실제 연산량 TP(k)를 이론적 최대 연산량 TP_max로 나누어 계산한다. [초당 부동소수점 연산 횟수 → 최대 성능 대비 비율 계산 → 연산 자원 활용도 확인]

실험 결과, GEAK 모델이 30.7%로 가장 높은 정답률을 기록했으나 여전히 신뢰하기 어려운 수준이다. 특히 Quantization 과제에서는 모든 모델이 0%의 정답률을 보이며 수치적 정밀도 구현에 완전히 실패했다. 또한 정답을 맞힌 커널 중 46.6%는 PyTorch의 기본(Eager) 실행보다 속도가 느린 것으로 나타났다.

반복 개선 과정(Iteration) 분석에서는 컴파일 성공률이 52.3%에서 68.8%로 상승하는 동안, 평균 속도 향상 폭은 오히려 감소했다. 이는 나중에 수정되어 통과된 커널들이 처음부터 정답이었던 커널들보다 성능이 낮기(1.16배 vs 1.58배) 때문이며, LLM의 수정 작업이 성능 최적화가 아닌 국소적인 문법/논리 오류 해결에 매몰되어 있음을 보여준다.

본 연구는 LLM 기반 커널 생성의 한계가 코드 복잡도(Cyclomatic Complexity)보다는 태스크의 구조적 특성에 기인함을 통계적으로 증명했다. 카테고리 변수가 정답률 분산의 9.4%를 설명하는 반면, 방법론 차이는 3.3%에 불과했다. 이는 특정 연산 패턴(예: 비로컬 데이터 의존성이 있는 Fusion)이 LLM에게 근본적인 장애물임을 시사한다.

구현 측면에서 LLM은 'lane-local'한 연산, 즉 각 스레드가 독립적으로 처리할 수 있는 작업에는 강하지만, 'cross-block reduction'이나 'inter-instance coordination'이 필요한 작업에서는 전역적인 텐서 의미론을 유지하지 못한다. 또한 학습 데이터에 하드웨어 성능 정보가 주석으로 달려있지 않아, 모델이 성능과 관련된 코드 패턴을 학습할 기회가 부족하다는 점을 주요 원인으로 꼽았다.

본 논문은 현재 LLM이 하드웨어 컨텍스트(공유 메모리 크기, 레지스터 할당 등)를 명시적 입력으로 받지 못한다는 구조적 한계를 언급했다. 또한 현재의 반복 개선 루프가 성능 최적화를 유도할 수 있는 하드웨어 비용 신호(Cost Signal)를 제공하지 못한다는 점을 한계로 지적했다.