Metal-Sci: Apple Silicon에서의 진화적 커널 탐색을 위한 과학 계산 벤치마크

왜 중요한가

다양한 과학 계산 패턴에서의 커널 최적화를 LLM으로 자동 탐색하는 연구는 CUDA 중심 벤치마크에 편향되어 있다. METAL-SCI는 six regime의 10개 태스크를 통해 Apple Silicon의 Metal 커널 최적화 탐색 공간을 구조적으로 시험하며, held-out gate ΦT를 통해 일반화와 안정성을 함께 평가한다.

핵심 기여

6개 최적화 레짐의 10태스크 벤치마크 구성

R1–R6으로 구성된 10개 태스크를 통해 stencils, N-body, lattice Boltzmann, atomics, multi-kernel reductions, 데이터-셔플/버터플리 등 서로 다른 GPU/메모리 하이어라키의 한계를 시험한다. 각 태스크는 CPU 참조와 roofline-anchored 피트니스, 보유-사이즈 일반화 게이트를 포함한다.

런타임 컴파일 해석이 가능한 핸들/허브 설계

Python 프로세스에서 .metal 소스를 런타임에 컴파일하고, 사이즈별 병렬 구성을 실행하여 per-size throughput와 correctness를 측정한다. 컴파일 에러 및 per-size 진단을 LLM에 피드백 패킷으로 전달한다.

Held-out gate ΦT의 기계적 감독 원리

엔진 내 피드백에 포함되지 않는 보조 크기의 홀드-아웃(size σ⋆T)에서의 fT(κ, σ⋆T)와 χT의 곱으로 정의된 ΦT를 계산하여, in-distribution 점수(ST)로는 포착하지 못하는 은밀한 정합성 저하를 감지한다.

세 모델의 매칭 싱글-모델 스윕 시연

Claude Opus 4.7, Gemini 3.1 Pro, GPT-5.5를 M1 Pro에서 실행하여 10 태스크에 대해 in-distribution self-speedup을 측정하고, 하나의 unseen size에서 held-out 성능을 검증한다. 속도 상승은 1.00×에서 10.7×까지 나타난다.

핵심 아이디어 이해하기

단계 1: 입력은 task κT의 Metal seed 커널이고, LLM M은 이를 변형해 새로운 κk+1을 산출한다. 단계 2: 런타임 컴파일을 통해 κk+1을 실행하고 ΣT의 여러 사이즈에서 성능(Throughput)과 정합성(정확성)을 측정한다. 단계 3: fT(κ, σ) = aT(κ, σ) / cT(σ)로 각 사이즈에서 ceiling 대비 성능의 비율을 계산하고, ST(κ) = (∏ fT(κ, σ))^(1/|ΣT|) × ∏ χT(κ, σ)로 in-distribution 점수를 구성한다. 단계 4: 새 후보가 ST보다 높은 경우 κ⋆k를 업데이트한다. 단계 5: 끝에 Held-out ΦT를 σ⋆T에서 평가하여 일반화 및 올바르지 않은 수정을 감지한다.

방법론

접근 방식: (1+1) 진화 전략으로 frozen LLM이 Metal 커널을 생성하고, 런타임 컴파일-실행-평가-피드백을 통해 매 이터레이션에서 incumbent를 갱신한다. [입력] task pT, Fk의 피드백; [연산] κk+1 생성 → EVALUATE(κk+1, T) → χT, aT 산출; [출력] STR(κ)와 per-size fT(κ, σ) 값. [판단] rk.score 가 ST보다 크면 새로운 incumbent으로 승격한다. ΦT는 엔드-런에서만 계산되어 피드백에 포함되지 않는다. - 수식/계산 흐름: fT(κ, σ) = aT(κ, σ)/cT(σ); ST(κ) = (∏σ∈ΣT fT(κ, σ))^(1/|ΣT|) × ∏σ∈ΣT χT(κ, σ); ΦT(κ) = fT(κ, σ⋆T) × χT(κ, σ⋆T). - 구현 세부: 런타임 컴파일은 PyObjC의 Metal 바인딩으로 수행하고, 버퍼는 unified memory에 할당한다. 한 실행에서 3개의 사이즈 구성을 공유하는 단일 MTLCommandBuffer를 사용한다. GPU 시간은 GPUStartTime-GPUEndTime으로 측정한다. 시스템 식별은 sysctl로 확인하고, M1~M4 패밀리별 피크 FP32 GFLOPS/DRAM 대역을 참조한다.

주요 결과

In-distribution self-speedup: 1.00×에서 10.7×까지 기록되며, hmc에서 Opus 4.7과 Gemini 3.1 Pro가 높게 나타난다. fft3d에서 GPT-5.5가 2.95×의 in-distribution 승리를 보였으나 held-out에서 0.23×로 감소했다. nbody, gradshaf, lj 등에서 일반화가 관찰되었고 hmc는 Opus의 d=24에서 올바름 실패가 보고되었다. opu s는 8~14 iteration 내에서 대부분의 태스크에서 수렴하는 경향이 보였고, GPT는 fft3d에서 held-out에서 큰 감소를 보이며 과적합 경향을 보였다. fft3d의 GPT 수렴은 in-distribution에서 2.95×였으나 held-out 2563 cube에서 0.23×로 떨어졌다. 그림 2, 표 3에 수치가 자세히 제시되어 있다. - held-out generalization: nbody, gradshaf, lj, fft3d(GPT-5.5의 경우 held-out에서 크게 흔들림)에서 일반화가 관찰된다. hmc의 경우 Opus의 d=24에서 정합성 실패가 발생했고, fft3d에서 held-out에서 큰 속도 하락이 나타난다. - 모델 간 차이: Opus는 '같은 알고리즘을 더 촘촘하게' 다듬는 경향, Gemini는 '다른 알고리즘 탐색'을 시도하는 경향, GPT는 두 접근을 모두 시도하되 더 넓은 탐색으로 과적합 가능성을 보인다. Opus의 빠른 iteration 당 시간은 GPT나 Gemini에 비해 작지만, held-out에서의 리스크는 더 크다. - 예측적 감독: ΦT는 모델의 피드백에 포함되지 않는 보조 검증으로, 은밀한 정합성 위반과 회귀를 감지하는 데 효과적이다. - 예시: fft3d에서 GPT의 iter-10 결과가 in-distribution에서 2.95×였으나 held-out에서 0.23×로 급락하며, 모델의 일반화 한계가 잘 드러난다.

한계점

정적 per-chip ceiling은 작은 사이즈에서의 SLC residency를 고려하지 못한다. 단일 집단(1+1) 루프는 대부분의 태스크에서 10–25 이터레이션 사이에서 수렴하지 않고 plateau 현상이 나타난다. 1+1 루프의 한계로 인해 island-model 혹은 FunSearch 스타일의 확장이 필요하다. 미래 과제로는 Sparse linear algebra(SpMV, CG) 및 칩 간 일반화 연구가 제시된다.

실무 활용

Apple Silicon에서의 과학 계산 커널 자동 최적화 파이프라인에 실무적으로 적용 가능하다. 하드웨어 피크를 기준으로 한 로프(line) 기반 평가와 held-out 게이트를 활용해 신뢰성 있는 커널 최적화를 지원한다.

자동화된 커널 최적화 파이프라인에서 LLM 기반 합성/수정 루프를 운용
held-out 게이트 ΦT를 적용한 자동화 검증으로 런타임 코드의 신뢰성 향상
Apple Silicon 환경의 고성능 과학 계산 코드의 다중 사이즈 일반화 평가

코드 공개 여부: 공개

코드 저장소 보기

키워드

Metalrooflineevolutionary kernel searchheld-out gateΦTruntime compilationApple Silicon

용어 해설

루프라인(Roofline): — 하드웨어의 이론적 피크 성능과 메모리 대역폭 간의 관계를 나타내는 모델이다. 연산 강도(뷔로비)와 메모리 대역폭의 곱셈으로 속도 한계를 추정한다. 낮은 연산 강도일수록 대역폭이 병목이 되고, 높은 연산 강도일수록 FP32 처리량이 주로 결정된다. 벤치마크에서 하드웨어 피크를 기준으로 후보의 성능을 정규화하는 기준으로 사용된다.
threadgroup: — Apple의 CUDA에 해당하는 개념으로, 다수의 스레드가 Scratchpad를 공유하는 블록 단위의 구성이다. Tile 구성 및 공동 메모리 이용을 통해 협력적 계산을 수행한다.
simd그룹(simdgroup): — 32스레드로 구성된 SIMD 레인 그룹으로, Warp에 해당하는 단위이다. 내부 루프의 벡터화와 빠른 데이터 처리를 가능하게 한다.