The Rock 아티팩트를 활용한 AMD Mi50용 llama.cpp ROCm 빌드 스크립트 공유

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

AMD Mi50 GPU 사용자를 위해 'The Rock' 아티팩트를 활용하여 llama.cpp를 ROCm 환경에서 안정적으로 빌드하는 자동화 스크립트와 설정 가이드를 제공한다.

배경

AMD Mi50 GPU 사용자들을 위해 Ubuntu 24.04 환경에서 Tensile 라이브러리 복사 없이 ROCm 기반 llama.cpp를 빌드하는 자동화 스크립트와 설정 방법을 공유했다.

의미 / 영향

AMD GPU 사용자들 사이에서 ROCm 빌드 복잡성이 큰 장벽이었으나, 커뮤니티의 'The Rock' 아티팩트 활용법 공유를 통해 Mi50와 같은 구형 가속기에서도 최신 LLM을 구동할 수 있는 실질적인 경로가 확보됐다.

커뮤니티 반응

작성자가 공유한 스크립트와 'The Rock' 활용법에 대해 긍정적인 반응이 있으며, 특히 Mi50와 같은 특정 AMD 하드웨어 사용자들에게 실질적인 도움이 되었다는 평가이다.

주요 논점

01찬성다수

The Rock 아티팩트를 사용하면 복잡한 Tensile 라이브러리 설정 없이도 AMD GPU에서 llama.cpp를 성공적으로 빌드할 수 있다.

합의점 vs 논쟁점

합의점

AMD GPU 환경에서 llama.cpp 빌드 시 환경 변수 설정과 하드웨어 타겟 지정이 성공의 핵심이다.
별도의 빌드 디렉토리를 사용하여 버전을 관리하는 것이 롤백과 문제 추적에 유리하다.

실용적 조언

AMD Mi50 사용자는 빌드 시 AMDGPU_TARGETS=gfx906 옵션을 반드시 지정해야 한다.
빌드 속도를 높이려면 시스템의 CPU 코어 수에 맞춰 cmake --build의 -j 옵션 값을 조정해야 한다.

섹션별 상세

AMD Mi50(gfx906) GPU에서 llama.cpp를 빌드할 때 발생하는 Tensile 라이브러리 의존성 문제를 해결하기 위해 'The Rock' 아티팩트를 활용하는 방식을 제안했다. 최신 ROCm SDK 타르볼을 다운로드하여 /opt/rocm에 압축을 해제하고 hipconfig가 올바른 경로를 가리키도록 설정하는 것이 핵심이다. 이 과정을 통해 복잡한 라이브러리 복사 과정 없이도 안정적인 빌드 환경을 구축할 수 있다.

빌드 자동화를 위해 작성된 Bash 스크립트는 Git 태그나 커밋 해시를 기반으로 별도의 빌드 디렉토리를 생성하여 버전 관리를 용이하게 한다. HIP_PLATFORM=amd 환경 변수를 명시적으로 export하여 CMake 구성 단계에서의 실패를 방지하며, 시스템 코어 수에 맞춰 병렬 빌드(-j) 옵션을 조정한다. 빌드 완료 후 바이너리 파일을 고정된 경로로 복사하여 후속 스크립트에서 참조하기 쉽게 설계했다.

bash

#!/bin/bash
# Exit on any error
set -e

# Get the current Git tag (if available), fallback to commit hash if not tagged
TAG=$(git -C $HOME/llama.cpp rev-parse --short HEAD)
BUILD_DIR="$HOME/llama.cpp/build-$TAG"
echo "Using build directory: $BUILD_DIR"

# Set vars
ROCM_PATH=$(hipconfig -l)
export HIP_PLATFORM=amd
HIP_PATH=$ROCM_PATH
HIP_CLANG_PATH=$ROCM_PATH/llvm/bin
HIP_INCLUDE_PATH=$ROCM_PATH/include
HIP_LIB_PATH=$ROCM_PATH/lib
HIP_DEVICE_LIB_PATH=$ROCM_PATH/lib/llvm/amdgcn/bitcode
PATH="$ROCM_PATH/bin:$HIP_CLANG_PATH:$PATH"
LD_LIBRARY_PATH="$HIP_LIB_PATH:$ROCM_PATH/lib:$ROCM_PATH/lib64:$ROCM_PATH/llvm/lib:${LD_LIBRARY_PATH:-}"
LIBRARY_PATH="$HIP_LIB_PATH:$ROCM_PATH/lib:$ROCM_PATH/lib64:${LIBRARY_PATH:-}"
CPATH="$HIP_INCLUDE_PATH:${CPATH:-}"
PKG_CONFIG_PATH="$ROCM_PATH/lib/pkgconfig:${PKG_CONFIG_PATH:-}"

# Run cmake and build
cmake -B "$BUILD_DIR" -S "$HOME/llama.cpp" \
  -DGGML_RPC=OFF \
  -DGGML_HIP=ON \
  -DGGML_HIP_ROCWMMA_FATTN=ON \
  -DAMDGPU_TARGETS=gfx906 \
  -DCMAKE_BUILD_TYPE=Release \
  -DGGML_SCHED_MAX_COPIES=1 \
  -DLLAMA_CURL=OFF

cmake --build "$BUILD_DIR" --config Release -j 80

echo "Copying build artifacts to /models/llama.cpp"
cp -rv $BUILD_DIR/bin/* /models/llama.cpp/

AMD Mi50(gfx906) GPU 환경에서 ROCm 기반 llama.cpp를 빌드하기 위한 자동화 Bash 스크립트

CMake 설정 시 GGML_HIP=ON과 GGML_HIP_ROCWMMA_FATTN=ON 옵션을 활성화하여 AMD GPU의 하드웨어 가속 기능을 최대한 활용하도록 구성했다. 특히 AMDGPU_TARGETS=gfx906 지정을 통해 Mi50 아키텍처에 최적화된 바이너리를 생성하며, RPC 및 CURL 기능을 비활성화하여 빌드 복잡도를 낮췄다. 이 설정을 통해 기존에 구동이 어려웠던 Qwen 3.5 모델이 Mi50 환경에서 정상적으로 작동함을 확인했다.

실무 Takeaway

Ubuntu 24.04 환경에서 'The Rock' 아티팩트를 사용하면 AMD Mi50 GPU용 llama.cpp 빌드 과정을 대폭 단순화할 수 있다.
빌드 스크립트 내에서 HIP_PLATFORM=amd를 명시적으로 export해야 CMake 구성 오류를 방지할 수 있다.
GGML_HIP_ROCWMMA_FATTN=ON 옵션을 활성화하여 AMD 하드웨어에서 Flash Attention 가속을 적용할 수 있다.

언급된 도구

llama.cpp추천

LLM 추론 엔진

ROCm추천

AMD GPU 컴퓨팅 플랫폼