AMD GPU 기반 LLM 추론 성능 벤치마크: ROCm vs Vulkan 비교

섹션별 상세

AMD GPU의 LLM 추론 성능을 측정하기 위해 Qwen 3.5 9B 모델과 llama.cpp 엔진을 사용했습니다. 동일한 질문을 10회 반복하여 첫 번째 프롬프트 처리 속도와 평균 생성 속도를 측정함으로써 데이터의 신뢰성을 확보했습니다. 이를 통해 이론적 수치가 아닌 실제 사용 환경에서의 성능 지표를 도출했습니다.

단일 GPU 테스트에서 Radeon RX 7900 XT는 Vulkan 백엔드 사용 시 첫 프롬프트 처리 속도 1,851 t/s, 평균 생성 속도 82.41 t/s를 기록했습니다. 반면 ROCm 환경에서는 각각 1,343 t/s와 66.44 t/s로 나타나 Vulkan이 약 20% 이상 우수한 성능을 보였습니다. 이는 특정 드라이버 및 런타임 환경에 따라 백엔드 선택이 성능에 직결됨을 의미합니다.

근거

RX 7900 XT 단일 구성에서 Vulkan 백엔드가 ROCm보다 약 24% 빠른 평균 생성 속도를 기록했다. — AMD GPU Inference Benchmark 테이블의 RX 7900 XT (single) 행 비교

듀얼 GPU 구성 시 PCIe 슬롯의 전기적 대역폭 제한이 심각한 병목 현상을 일으키는 것으로 확인됐습니다. 테스트에 사용된 메인보드의 두 번째 슬롯이 x1 배속으로 동작하여, 두 카드를 병렬로 연결했을 때 단일 카드보다 생성 속도가 오히려 하락하는 결과가 나타났습니다. 이는 멀티 GPU 시스템 구축 시 메인보드의 PCIe 레인 배분이 성능 유지의 핵심임을 시사합니다.

근거

듀얼 GPU 구성 시 PCIe x1 슬롯 사용으로 인해 파이프라인 병렬화 페널티가 발생하여 성능이 저하됐다. — System Info 섹션의 'The second discrete slot runs at x1 electrical' 설명

테스트 환경은 Debian 13 기반의 네이티브 Vulkan 드라이버와 도커 컨테이너 기반의 ROCm 스택으로 구성됐습니다. 호스트 CPU는 Ryzen 9 7900X와 64GB DDR5 메모리를 사용하여 하드웨어 자원의 간섭을 최소화했습니다. 이러한 상세 환경 정보는 사용자가 자신의 시스템 성능을 객참조하고 재현하는 데 중요한 근거가 됩니다.

용어 해설

라데온 오픈 컴퓨팅 플랫폼(ROCm): — AMD의 GPU 가속 컴퓨팅을 위한 오픈 소스 소프트웨어 스택입니다. NVIDIA의 CUDA와 유사한 역할을 하며, LLM 추론 시 AMD 그래픽 카드의 성능을 최적화하는 데 필수적인 라이브러리와 드라이버를 제공합니다.
벌칸(Vulkan): — 크로스 플랫폼 그래픽 및 컴퓨팅 API로, 하드웨어에 직접 접근하여 오버헤드를 줄이는 특징이 있습니다. LLM 추론 엔진인 llama.cpp에서 ROCm 대신 사용할 수 있는 범용 가속 백엔드로 활용됩니다.
초당 토큰 수(t/s (Tokens per Second)): — LLM의 추론 속도를 측정하는 핵심 단위입니다. 모델이 1초당 생성하는 단어 조각(토큰)의 수를 의미하며, 수치가 높을수록 사용자에게 더 빠른 응답을 제공할 수 있음을 나타냅니다.
KV 캐시 양자화(KV Cache Quantization): — 모델 추론 중 생성된 키-값(Key-Value) 데이터를 낮은 비트(예: q8_0)로 압축하여 저장하는 기술입니다. 메모리 사용량을 줄여 더 긴 컨텍스트를 처리하거나 더 큰 모델을 VRAM에 올릴 수 있게 합니다.

기술

llama.cpp
ROCm
Vulkan
Radeon RX 7900 XT
Radeon RX 6950 XT
Qwen 3.5
Debian

활용 사례

로컬 LLM 추론 서버 구축
AMD GPU 성능 최적화
가성비 AI 워크스테이션 하드웨어 선정

언급된 리소스

GitHubAmdPerformanceTesting GitHub Repository