2GB VRAM 구형 노트북 GPU에서 8B LLM 구동 실험 결과

작성자의 실험 정신에 대해 긍정적인 반응이며, 저사양 하드웨어에서의 최적화 가능성에 대한 관심이 높다.

• VRAM이 부족할 때는 -ctk q8_0, -ctv q8_0 옵션으로 KV 캐시를 양자화하여 메모리를 절약하라.
• 발열로 인한 성능 저하를 막기 위해 추론 사이에 냉각 시간을 두는 것이 필요하다.

• 2GB VRAM에서도 8B 모델 구동은 가능하지만 KV 캐시 양자화와 ubatch 크기 최적화가 필수적이다.
• 저사양 노트북 GPU는 발열 관리가 어려워 지속적인 추론 시 서멀 쓰로틀링으로 인한 급격한 성능 저하가 발생한다.
• VRAM 용량이 극도로 적은 경우 GPU 가속보다 시스템 RAM을 활용한 CPU 추론이 컨텍스트 길이 면에서 더 유리하다.