본문으로 건너뛰기

Vulkan Backend

Vulkan Backend

Vulkan Backend는 GPU에서 llama.cpp 추론을 실행하는 그래픽·컴퓨트 API 기반 backend입니다. AMD RX 480이 최신 ROCm 지원 대상에서 제외되어 작성자는 Linux에서 Vulkan 기반 실행 경로를 사용했고, RX 9070 XT에서는 Qwen 3.8 27B가 약 30~50 tok/s로 생성됐습니다.