AMD GPU 기반 LLM 추론 성능 벤치마크: ROCm vs Vulkan 비교

이 아티클은 AMD GPU 환경에서 LLM 추론 엔진인 llama.cpp의 성능을 백엔드별로 비교 분석한 실측 데이터를 제공합니다. Radeon RX 7900 XT, 6950 XT 및 R9700 모델을 대상으로 Vulkan(네이티브)과 ROCm(도커) 환경에서의 초당 토큰 생성 속도(t/s)를 측정했습니다. 테스트 결과 단일 GPU 환경에서는 Vulkan이 전반적으로 높은 Prompt 처리 속도를 보였으나, 하드웨어 구성에 따라 성능 편차가 존재함이 확인됐습니다. 특히 PCIe 대역폭 제한이 듀얼 GPU 구성 시 성능 저하의 주요 원인임을 밝혀내어 실무적인 하드웨어 구성 가이드를 제시합니다.