2GB VRAM 구형 노트북 GPU에서 8B LLM 구동 실험 결과

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

2018년형 NVIDIA MX150(2GB VRAM) GPU에서 Bonsai-8B 모델을 구동하여 최대 52 PP TPS와 8 TG TPS를 기록했으나 발열과 효율성 문제가 확인됐다.

배경

2018년형 저사양 노트북인 Asus Zenbook UX430U 환경에서 2GB VRAM을 가진 NVIDIA MX150 GPU를 활용해 8B 파라미터 모델을 구동할 수 있는지 실험하고 벤치마크 결과를 공유했다.

의미 / 영향

이 실험을 통해 저사양 하드웨어에서도 최적화 기법을 동원하면 최신 LLM 구동이 가능함이 확인됐다. 하지만 메모리 제약과 발열 문제로 인해 실용적인 서비스보다는 기술적 한계 테스트에 가까우며, 저사양 환경에서는 여전히 CPU와 시스템 RAM 조합이 더 긴 컨텍스트 처리에 유리하다.

커뮤니티 반응

작성자의 실험 정신에 대해 긍정적인 반응이며, 저사양 하드웨어에서의 최적화 가능성에 대한 관심이 높다.

주요 논점

01중립다수

기술적으로 구동은 가능하지만 실무적인 효율성과 성능 면에서는 CPU 추론이 더 나을 수 있다.

합의점 vs 논쟁점

합의점

2GB VRAM에서 8B 모델을 돌리는 것은 매우 타이트한 작업이다.
노트북 GPU의 발열 문제는 성능 유지의 가장 큰 걸림돌이다.

논쟁점

저사양 GPU 가속이 CPU 추론보다 실질적인 이득이 있는지에 대한 의문이 있다.

실용적 조언

VRAM이 부족할 때는 -ctk q8_0, -ctv q8_0 옵션으로 KV 캐시를 양자화하여 메모리를 절약하라.
발열로 인한 성능 저하를 막기 위해 추론 사이에 냉각 시간을 두는 것이 필요하다.

섹션별 상세

2GB라는 극도로 제한된 VRAM 환경에서 8B 모델을 구동하기 위해 llama.cpp의 CUDA 지원 포크를 사용하고 메모리 최적화를 진행했다. -fit 옵션을 끄고 CLI 파라미터를 수동으로 조정하여 VRAM 부족으로 인한 크래시를 방지했다. ubatch 크기를 조절하며 컨텍스트 윈도우와 성능 간의 균형점을 찾았다.

bash

llama-server -m Bonsai-8B.gguf -ctk q8_0 -ctv q8_0 -np 1 -fit off -ub 512 -c 5632

2GB VRAM 환경에서 Bonsai-8B 모델을 구동하기 위한 최적화된 llama-server 실행 명령어

KV 캐시를 q8_0으로 양자화하고 -np 1 설정을 적용하여 메모리 점유율을 최소화한 결과 최대 8,704 토큰의 컨텍스트를 확보했다. ubatch 크기가 256에서 512 사이일 때 프롬프트 처리(PP) 속도가 가장 안정적이었다. ubatch 1024 설정 시에는 컨텍스트 길이가 1024로 제한되어 실용성이 낮았다.

벤치마크 결과 프롬프트 처리 속도는 52 TPS, 토큰 생성 속도는 8 TPS를 기록했으나 지속적인 부하 시 GPU 온도가 80도까지 상승했다. 온도가 높아지면 서멀 쓰로틀링이 발생하여 성능이 초기 대비 30-40% 하락하는 현상이 관찰됐다. 이는 저사양 노트북의 쿨링 시스템이 LLM 추론 부하를 견디기에 부족함을 시사했다.

전력 소모 측정 결과 시스템 전체에서 45-50W를 사용했으며 토큰당 약 6 줄(Joules)의 에너지가 소비됐다. 이는 최신 하드웨어 대비 에너지 효율이 매우 낮은 수준이다. 작성자는 2GB VRAM GPU를 사용하는 것보다 시스템 RAM을 활용한 CPU 추론이 더 긴 컨텍스트와 안정성을 제공할 수 있다는 결론을 내렸다.

실무 Takeaway

2GB VRAM에서도 8B 모델 구동은 가능하지만 KV 캐시 양자화와 ubatch 크기 최적화가 필수적이다.
저사양 노트북 GPU는 발열 관리가 어려워 지속적인 추론 시 서멀 쓰로틀링으로 인한 급격한 성능 저하가 발생한다.
VRAM 용량이 극도로 적은 경우 GPU 가속보다 시스템 RAM을 활용한 CPU 추론이 컨텍스트 길이 면에서 더 유리하다.

언급된 도구

llama.cpp추천

LLM 추론 엔진 및 서버 실행

Bonsai-8B중립

1-bit 양자화 기반의 8B 파라미터 언어 모델

NVIDIA MX150비추천

실험에 사용된 2GB VRAM 노트북 GPU