The Rock 아티팩트를 활용한 AMD Mi50용 llama.cpp ROCm 빌드 스크립트 공유

커뮤니티 반응

작성자가 공유한 스크립트와 'The Rock' 활용법에 대해 긍정적인 반응이 있으며, 특히 Mi50와 같은 특정 AMD 하드웨어 사용자들에게 실질적인 도움이 되었다는 평가이다.

주요 논점

01찬성다수

The Rock 아티팩트를 사용하면 복잡한 Tensile 라이브러리 설정 없이도 AMD GPU에서 llama.cpp를 성공적으로 빌드할 수 있다.

합의점 vs 논쟁점

합의점

AMD GPU 환경에서 llama.cpp 빌드 시 환경 변수 설정과 하드웨어 타겟 지정이 성공의 핵심이다.
별도의 빌드 디렉토리를 사용하여 버전을 관리하는 것이 롤백과 문제 추적에 유리하다.

실용적 조언

AMD Mi50 사용자는 빌드 시 AMDGPU_TARGETS=gfx906 옵션을 반드시 지정해야 한다.
빌드 속도를 높이려면 시스템의 CPU 코어 수에 맞춰 cmake --build의 -j 옵션 값을 조정해야 한다.

섹션별 상세

AMD Mi50(gfx906) GPU에서 llama.cpp를 빌드할 때 발생하는 Tensile 라이브러리 의존성 문제를 해결하기 위해 'The Rock' 아티팩트를 활용하는 방식을 제안했다. 최신 ROCm SDK 타르볼을 다운로드하여 /opt/rocm에 압축을 해제하고 hipconfig가 올바른 경로를 가리키도록 설정하는 것이 핵심이다. 이 과정을 통해 복잡한 라이브러리 복사 과정 없이도 안정적인 빌드 환경을 구축할 수 있다.

빌드 자동화를 위해 작성된 Bash 스크립트는 Git 태그나 커밋 해시를 기반으로 별도의 빌드 디렉토리를 생성하여 버전 관리를 용이하게 한다. HIP_PLATFORM=amd 환경 변수를 명시적으로 export하여 CMake 구성 단계에서의 실패를 방지하며, 시스템 코어 수에 맞춰 병렬 빌드(-j) 옵션을 조정한다. 빌드 완료 후 바이너리 파일을 고정된 경로로 복사하여 후속 스크립트에서 참조하기 쉽게 설계했다.

bash

#!/bin/bash
# Exit on any error
set -e

# Get the current Git tag (if available), fallback to commit hash if not tagged
TAG=$(git -C $HOME/llama.cpp rev-parse --short HEAD)
BUILD_DIR="$HOME/llama.cpp/build-$TAG"
echo "Using build directory: $BUILD_DIR"

# Set vars
ROCM_PATH=$(hipconfig -l)
export HIP_PLATFORM=amd
HIP_PATH=$ROCM_PATH
HIP_CLANG_PATH=$ROCM_PATH/llvm/bin
HIP_INCLUDE_PATH=$ROCM_PATH/include
HIP_LIB_PATH=$ROCM_PATH/lib
HIP_DEVICE_LIB_PATH=$ROCM_PATH/lib/llvm/amdgcn/bitcode
PATH="$ROCM_PATH/bin:$HIP_CLANG_PATH:$PATH"
LD_LIBRARY_PATH="$HIP_LIB_PATH:$ROCM_PATH/lib:$ROCM_PATH/lib64:$ROCM_PATH/llvm/lib:${LD_LIBRARY_PATH:-}"
LIBRARY_PATH="$HIP_LIB_PATH:$ROCM_PATH/lib:$ROCM_PATH/lib64:${LIBRARY_PATH:-}"
CPATH="$HIP_INCLUDE_PATH:${CPATH:-}"
PKG_CONFIG_PATH="$ROCM_PATH/lib/pkgconfig:${PKG_CONFIG_PATH:-}"

# Run cmake and build
cmake -B "$BUILD_DIR" -S "$HOME/llama.cpp" \
  -DGGML_RPC=OFF \
  -DGGML_HIP=ON \
  -DGGML_HIP_ROCWMMA_FATTN=ON \
  -DAMDGPU_TARGETS=gfx906 \
  -DCMAKE_BUILD_TYPE=Release \
  -DGGML_SCHED_MAX_COPIES=1 \
  -DLLAMA_CURL=OFF

cmake --build "$BUILD_DIR" --config Release -j 80

echo "Copying build artifacts to /models/llama.cpp"
cp -rv $BUILD_DIR/bin/* /models/llama.cpp/

AMD Mi50(gfx906) GPU 환경에서 ROCm 기반 llama.cpp를 빌드하기 위한 자동화 Bash 스크립트

CMake 설정 시 GGML_HIP=ON과 GGML_HIP_ROCWMMA_FATTN=ON 옵션을 활성화하여 AMD GPU의 하드웨어 가속 기능을 최대한 활용하도록 구성했다. 특히 AMDGPU_TARGETS=gfx906 지정을 통해 Mi50 아키텍처에 최적화된 바이너리를 생성하며, RPC 및 CURL 기능을 비활성화하여 빌드 복잡도를 낮췄다. 이 설정을 통해 기존에 구동이 어려웠던 Qwen 3.5 모델이 Mi50 환경에서 정상적으로 작동함을 확인했다.

용어 해설

ROCm: — AMD의 오픈소스 GPU 컴퓨팅 플랫폼으로, NVIDIA의 CUDA에 대응하여 AMD 가속기에서 LLM 추론 및 학습을 가능하게 하는 소프트웨어 스택이다.
llama.cpp: — C/C++로 작성된 LLM 추론 엔진으로, 다양한 하드웨어에서 효율적인 로컬 실행을 지원하며 특히 양자화된 모델 실행에 최적화되어 있다.
HIP: — AMD의 C++ 런타임 및 프로그래밍 언어로, CUDA 코드를 AMD GPU에서 실행 가능하도록 변환하거나 직접 작성할 때 사용되는 인터페이스이다.
Tensile: — AMD GPU용 행렬 연산 최적화 라이브러리로, ROCm 환경에서 딥러닝 연산의 성능을 극대화하기 위해 사용되나 설정 과정이 복잡한 경우가 많다.
CMake: — 소프트웨어 빌드 자동화 시스템으로, llama.cpp와 같은 복잡한 프로젝트의 컴파일 옵션과 하드웨어 타겟 설정을 관리하는 도구이다.

언급된 도구

llama.cpp추천

LLM 추론 엔진

ROCm추천

AMD GPU 컴퓨팅 플랫폼