LUMINA: LLM 기반 병목 분석을 통한 GPU 아키텍처 탐색 가속화

섹션별 상세

기존 GPU 설계 공간 탐색(DSE)은 수많은 샘플링이 필요하거나 전문가의 수동 분석에 의존해야 하는 한계가 있었다. LUMINA는 LLM을 활용해 시뮬레이터 코드에서 아키텍처 지식을 추출하고 병목 현상을 분석하여 이 과정을 자동화한다.

LUMINA는 탐색 과정에서 스스로 설계 규칙을 구성하고 오류를 수정하는 자가 교정 메커니즘을 갖추고 있다. 이를 통해 복잡한 설계 변수 간의 상호작용을 파악하고 최적의 파레토 프런티어를 효과적으로 찾아낸다.

LLM의 아키텍처 최적화 능력을 평가하기 위한 전용 벤치마크를 도입하여 모델의 추론 일관성을 보장한다. 세 가지 핵심 기술 역량을 기준으로 LLM을 평가함으로써 하드웨어 설계에 가장 적합한 모델을 선택할 수 있는 객관적 근거를 확보했다.

실험 결과 470만 개의 샘플 공간에서 단 20단계의 탐색만으로 A100 GPU를 능가하는 설계를 도출하는 데 성공했다. 기존 ML 베이스라인 대비 탐색 효율은 17.5배, 파레토 하이퍼볼륨은 32.9% 개선되는 압도적인 성능 수치를 기록했다.

설계 공간 탐색(DSE): — 가능한 모든 설계 변수의 조합 중에서 성능, 전력, 면적 등 목표 사양을 만족하는 최적의 조합을 찾아내는 과정이다. GPU와 같이 복잡한 시스템에서는 탐색 공간이 기하급수적으로 커져 효율적인 알고리즘이 필수적이다.
파레토 하이퍼볼륨(Pareto Hypervolume): — 다목적 최적화 문제에서 도출된 해들의 집합이 목표 공간을 얼마나 잘 커버하는지 측정하는 지표이다. 이 값이 클수록 성능과 비용 사이의 최적 균형점들을 더 많이, 더 넓게 찾아냈음을 의미한다.
병목 분석(Bottleneck Analysis): — 시스템 전체의 성능 향상을 저해하는 가장 결정적인 구성 요소나 단계를 찾아내는 기법이다. 하드웨어 설계에서 병목 지점을 정확히 파악하면 최소한의 자원 변경으로 최대의 성능 이득을 얻을 수 있다.
민감도 연구(Sensitivity Study): — 특정 입력 변수의 변화가 전체 시스템의 출력 결과에 미치는 영향력을 분석하는 방법이다. 어떤 설계 파라미터가 성능 향상에 가장 민감하게 반응하는지 파악하여 탐색의 우선순위를 정하는 데 사용된다.