16GB RAM MacBook Air에서 LLM 구동 성능 분석

이 글은 16GB RAM을 탑재한 M3 맥북 에어에서 다양한 LLM의 실제 구동 성능을 벤치마크한 결과를 다룬다. MLX 프레임워크를 사용하여 4비트 양자화 모델을 테스트한 결과, 1B 모델은 매우 빠르며 4B 모델은 대화형 작업에 적합한 성능을 보인다. 반면 9B 이상의 모델은 시스템 RAM 부족으로 인해 스왑(swap)이 발생하며 추론 속도가 극도로 저하되어 실사용이 불가능하다. 결론적으로 일반적인 작업 환경에서 8B 파라미터 모델이 로컬 LLM 구동의 실질적인 상한선임을 제시한다.