2GB VRAM 구형 노트북 GPU에서 8B LLM 구동 실험 결과

작성자의 실험 정신에 대해 긍정적인 반응이며, 저사양 하드웨어에서의 최적화 가능성에 대한 관심이 높다.

• VRAM이 부족할 때는 -ctk q8_0, -ctv q8_0 옵션으로 KV 캐시를 양자화하여 메모리를 절약하라.
• 발열로 인한 성능 저하를 막기 위해 추론 사이에 냉각 시간을 두는 것이 필요하다.

비디오 램(VRAM)

— 그래픽 카드 전용 메모리로, LLM 구동 시 모델 가중치와 KV 캐시를 저장하는 핵심 공간이다. 용량이 부족하면 모델 로딩이 불가능하거나 속도가 급격히 저하된다.

서멀 쓰로틀링(Thermal Throttling)

— 하드웨어 온도가 임계치에 도달했을 때 과열 방지를 위해 클럭 속도를 강제로 낮추는 보호 메커니즘이다. 이 현상이 발생하면 추론 속도가 30-40% 이상 하락한다.

KV 캐시 양자화(KV Cache Quantization)

— 추론 과정에서 생성된 키-값 데이터를 낮은 비트(예: q8_0)로 압축하여 메모리 사용량을 줄이는 기법이다. 제한된 VRAM에서 더 긴 컨텍스트를 처리할 수 있게 돕는다.

초당 토큰 생성 수(TPS)

— LLM의 추론 속도를 나타내는 지표로, 1초에 몇 개의 토큰을 생성하는지 측정한다. 사용자 경험과 직결되는 성능 지표이다.