로컬 LLM 추론 속도 계산기: 메모리 대역폭 기반 성능 예측

로컬 환경에서의 LLM 추론은 연산 능력보다 메모리 대역폭에 의해 성능이 제한되는 Memory-bound 특성을 가진다. 각 토큰을 생성할 때마다 모델 가중치 전체와 KV 캐시를 메모리 버스를 통해 읽어와야 하므로, 하드웨어의 대역폭을 모델 크기로 나누면 이론적인 초당 토큰 수(tokens/sec)를 계산할 수 있다. 이 글은 GPU VRAM, Apple 실리콘의 통합 메모리, 시스템 RAM 및 SSD 계층 구조를 고려하여 Llama 3나 Mistral 같은 주요 모델의 실행 속도를 예측하는 방법론을 제시한다. 실제 성능은 이론적 한계치의 약 60~90% 수준에서 형성되며, 특히 MoE 모델은 시스템 RAM을 사용할 때 밀집 모델보다 유리한 성능을 보여준다.