LLM 배포를 위한 메모리 예산 설계 가이드: 가중치 메모리 비용, KV 캐시, MoE의 영향 및 하드웨어 제약

대형 모델의 메모리 비용은 가중치 수와 비트 깊이에 좌우되며, KV 캐시와 런타임 오버헤드가 여기에 더해진다. 예를 들어 70B 모델의 Q4_K_M(약 4.8비트/가중치)일 때 약 42GB가 필요하다. KV 캐시는 컨텍스트 길이에 비례해 메모리 증가를 보이며, FP16 가정 아래 Q8/Q4 정밀도 선택이 메모리 사용에 직접적 영향을 준다. MoE 구조는 파라미터 총량이 커도 활성 파라미터 수에 따라 속도가 결정되므로 120B MoE가 Dense 70B보다 빠를 수 있다. 오버헤드로 약 1.5GB의 런타임/활성화 버퍼가 필요하고, 생성 속도는 메모리 대역폭 기반 이론 상한인 gen ceiling으로 표현되며 실제 속도는 런타임 구현, 배치 설정, KV 캐시 정밀도 등에 따라 달라진다.