로컬 LLM 추론 속도 계산기: 메모리 대역폭 기반 성능 예측

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

로컬 환경에서의 LLM 추론은 연산 능력보다 메모리 대역폭에 의해 성능이 제한되는 Memory-bound 특성을 가진다. 각 토큰을 생성할 때마다 모델 가중치 전체와 KV 캐시를 메모리 버스를 통해 읽어와야 하므로, 하드웨어의 대역폭을 모델 크기로 나누면 이론적인 초당 토큰 수(tokens/sec)를 계산할 수 있다. 이 글은 GPU VRAM, Apple 실리콘의 통합 메모리, 시스템 RAM 및 SSD 계층 구조를 고려하여 Llama 3나 Mistral 같은 주요 모델의 실행 속도를 예측하는 방법론을 제시한다. 실제 성능은 이론적 한계치의 약 60~90% 수준에서 형성되며, 특히 MoE 모델은 시스템 RAM을 사용할 때 밀집 모델보다 유리한 성능을 보여준다.

배경

메모리 대역폭(Memory Bandwidth)의 개념, 양자화(Quantization) 및 모델 파라미터 크기에 대한 이해, VRAM과 시스템 RAM의 차이

대상 독자

로컬 환경에서 LLM을 구동하려는 개발자 및 하드웨어 최적화에 관심 있는 사용자

의미 / 영향

이 분석은 고가의 하드웨어를 구매하기 전에 자신의 워크로드에 맞는 최적의 GPU 및 메모리 구성을 수치적으로 예측할 수 있게 돕습니다. 특히 Apple 실리콘과 일반 PC 환경의 성능 차이를 메모리 대역폭 관점에서 명확히 이해할 수 있게 합니다.

섹션별 상세

단일 사용자 LLM 추론 속도는 하드웨어의 연산 속도가 아닌 메모리 대역폭에 의해 상한선이 결정된다. 토큰 생성 시마다 모델 가중치와 KV 캐시 전체를 메모리에서 불러와야 하므로 대역폭이 좁을수록 병목 현상이 발생한다. 이론적 속도 천장은 '대역폭 ÷ 토큰당 읽기 바이트 수'로 계산할 수 있으며 이는 하드웨어 구매 전 성능 예측의 핵심 지표가 된다.

모델의 크기와 양자화 수준은 메모리에서 읽어와야 하는 데이터 양을 결정하여 직접적으로 속도에 영향을 미친다. Dense 모델은 전체 파라미터를 읽어야 하지만 MoE 모델은 활성 파라미터만 읽으면 되므로 동일 전체 크기 대비 속도가 빠르다. 예를 들어 int4 양자화는 fp16 대비 모델 크기를 1/4로 줄여 이론적으로 4배 빠른 추론 속도를 가능하게 한다.

KV 캐시는 컨텍스트 길이에 따라 증가하며 추론 시 가중치와 함께 매번 읽혀야 하는 필수 데이터이다. Llama 3 70B fp16 기준 토큰당 약 320KB의 KV 캐시가 발생하며 이는 메모리 점유와 대역폭 소모의 큰 축을 담당한다. llama.cpp와 같은 엔진은 KV 캐시를 가장 빠른 메모리 계층에 고정하여 성능 저하를 최소화하는 전략을 사용한다.

메모리 계층 구조에 따라 모델 가중치가 VRAM에서 시스템 RAM이나 SSD로 넘칠 경우 성능이 급격히 저하된다. VRAM 용량이 부족하면 가중치 일부를 느린 시스템 RAM에서 읽어와야 하므로 대역폭 페널티가 발생하지만 KV 캐시가 VRAM에 있다면 성능 하락폭을 일부 완화할 수 있다. MoE 모델은 일부 가중치만 RAM에서 읽으면 되므로 밀집 모델보다 이러한 계층 구조에서 더 실용적인 속도를 유지한다.

실무 Takeaway

로컬 LLM 구동을 위한 하드웨어 선택 시 GPU의 연산 성능(TFLOPS)보다 메모리 대역폭(GB/s) 수치를 최우선으로 확인해야 한다.
VRAM 용량이 모델 크기보다 작더라도 MoE 구조의 모델을 선택하면 시스템 RAM 스필오버 상황에서 밀집 모델보다 훨씬 높은 추론 속도를 기대할 수 있다.
실제 추론 엔진(llama.cpp, vLLM 등)의 성능은 이론적 최대치의 60~90% 수준이므로 하드웨어 설계 시 20% 정도의 오차 범위를 고려해야 한다.