AMD Radeon Pro R9700(W9700) AI 성능 및 발열 설계 결함 실사용 후기

커뮤니티 반응

AMD 하드웨어의 고질적인 소프트웨어 문제와 부실한 쿨링 설계에 대해 많은 사용자가 공감하며, 특히 ROCm의 파편화된 지원 체계에 대한 불만이 높다.

주요 논점

01반대다수

AMD R9700은 AI 워크로드에 적합하지 않은 설계이며 NVIDIA로 복귀하거나 소비자용 라데온을 쓰는 것이 낫다.

합의점 vs 논쟁점

합의점

AMD의 프로페셔널 라인업조차 AI 소프트웨어 최적화가 NVIDIA에 비해 크게 뒤처져 있다.
VRAM 용량 수치만으로 실제 AI 추론 성능을 보장할 수 없다.

실용적 조언

AMD 카드의 메모리 발열을 잡기 위해 백플레이트나 케이스에 추가 방열판을 부착하고 커스텀 팬 슈라우드를 제작할 것을 권장한다.
ROCm 7.11 릴리스 노트에 포함된 특정 HIP 플래그를 사용하여 llama.cpp의 프롬프트 처리 성능 저하 문제를 일부 완화할 수 있다.

섹션별 상세

하드웨어 냉각 설계의 치명적인 결함이 확인됐다. 쿨러가 GPU 코어만 냉각하고 메모리 칩은 알루미늄 케이스를 방열판으로 사용하는 구조라 풀로드 시 쉘 온도가 92도, PCIe 슬롯 핀 온도가 102도까지 상승한다. 이로 인해 LACT 측정 결과 전력과 온도 모두에서 상시 스로틀링이 발생하여 하드웨어 잠재력을 전혀 활용하지 못한다.

AMD의 AI 소프트웨어 지원 체계가 매우 부실하다. ROCm 최신 버전인 7.2는 출시 직후 구형이 되어 재작업 중이며, 최신 트랜스포머 라이브러리와의 호환성 문제로 특정 빌드를 골라 써야 하는 번거로움이 있다. 특히 vLLM 환경에서는 AMD 카드에 대한 GPTQ, AWQ, bitsandbytes 등 주요 양자화 지원이 전무하여 성능 최적화가 불가능한 수준이다.

실제 벤치마크 결과에서 NVIDIA 보급형 카드에 참패했다. Qwen 3.5 MoE 모델 기준 NVIDIA 5060 Ti는 2114 pp/s와 75 tg/s를 기록한 반면, R9700은 40 pp/s와 3 tg/s라는 처참한 속도를 보였다. 이는 R9700의 VRAM 클럭이 NVIDIA 대비 3배 낮고, 부실한 설계로 인해 연산 도중 성능이 급격히 하락하기 때문이다.

전력 제한 설정의 비효율성이 지적됐다. 600W 전력 공급이 가능한 케이블을 연결했음에도 카드가 300W 제한에 묶여 있으며, 이를 해제할 공식적인 방법이 없다. 발열 문제를 해결하기 위해 3D 프린팅으로 팬 슈라우드를 제작하고 메모리에 별도 방열판을 부착하는 등 사용자가 직접 하드웨어를 개조해야만 정상적인 사용이 가능하다.

용어 해설

라데온 오픈 컴퓨팅 플랫폼(ROCm): — AMD GPU에서 가속 컴퓨팅을 수행하기 위한 오픈 소스 소프트웨어 스택이다. NVIDIA의 CUDA에 대응하는 기술로, 딥러닝 프레임워크가 AMD 하드웨어에서 작동하도록 지원하지만 버전 간 호환성 및 최적화 문제가 자주 발생한다.
양자화(Quantization): — LLM의 가중치 데이터를 낮은 비트(예: 4비트, 8비트)로 변환하여 메모리 사용량을 줄이고 추론 속도를 높이는 기법이다. AMD 환경에서는 GPTQ, AWQ 등 주요 양자화 규격에 대한 지원이 NVIDIA보다 미비한 경우가 많다.
쓰로틀링(Throttling): — 기기 과열이나 전력 과부하를 방지하기 위해 하드웨어 성능을 강제로 낮추는 제어 메커니즘이다. 본 게시물에서는 AMD 카드의 부실한 냉각 설계로 인해 온도가 100도 이상 치솟으며 성능이 급격히 하락하는 현상을 지적한다.
초당 프롬프트 처리량(PP/S (Prompt Processing per Second)): — 모델이 입력된 텍스트(프롬프트)를 이해하고 처리하는 속도를 나타내는 지표이다. LLM 추론의 초기 단계 성능을 결정하며, 메모리 대역폭과 연산 성능의 영향을 크게 받는다.
초당 토큰 생성량(TG/S (Token Generation per Second)): — 모델이 답변을 한 글자씩 생성해내는 실제 출력 속도를 의미한다. 사용자가 체감하는 답변 속도와 직결되며, 하드웨어의 스로틀링이나 소프트웨어 최적화 상태에 따라 변동폭이 크다.

언급된 도구

llama.cpp중립

LLM 추론 엔진

vLLM비추천

고성능 LLM 서빙 라이브러리

LACT추천

Linux용 AMD GPU 제어 및 모니터링 도구

언급된 리소스

문서ROCm 7.11 릴리스 노트 - llama.cpp 성능 회귀 수정