M5-Max 맥북 프로 128GB RAM 기반 Qwen3-Coder-Next 8비트 벤치마크: MLX vs Ollama

실용적 조언

Apple Silicon 맥 사용자는 성능 최적화를 위해 Ollama 대신 MLX 전용 가중치와 mlx-lm 라이브러리 사용을 권장함
대규모 모델 로딩 지연을 줄이려면 MLX의 pre-sharded 가중치 형식을 활용할 것

섹션별 상세

MLX 백엔드가 Ollama(llama.cpp 기반)보다 평균 107% 높은 처리량을 기록했다. MLX는 초당 평균 72.3 토큰을 생성한 반면 Ollama는 35.0 토큰에 그쳤다. 이는 Apple Silicon의 Metal GPU 가속과 통합 메모리 구조를 MLX가 더 효율적으로 활용하기 때문이다. 실무적으로 75 tok/s 수준은 실시간 코딩 보조 도구로 사용하기에 충분히 쾌적한 속도이다.

모델 로딩을 포함한 콜드 스타트(Cold Start) 속도에서 MLX가 Ollama보다 27배 빨랐다. MLX는 사전 샤딩된 가중치를 사용하여 2.4초 만에 로딩을 마쳤으나, Ollama는 GGUF 파일을 변환하고 매핑하는 과정에서 65.3초가 소요됐다. 이는 모델을 자주 교체하거나 간헐적으로 사용하는 인터랙티브 환경에서 MLX가 압도적인 사용자 경험을 제공함을 의미한다.

첫 토큰 생성 시간(TTFT) 또한 MLX가 모든 테스트 케이스에서 Ollama보다 약 50% 이상 빨랐다. 짧은 코드 완성 테스트에서 MLX는 0.076초, Ollama는 0.182초를 기록하여 MLX가 프롬프트 처리 및 초기 디코딩 단계에서 더 낮은 지연 시간을 보였다. 이는 대화형 AI 응용 프로그램에서 응답 시작의 즉각성을 결정짓는 핵심 지표이다.

메모리 사용량은 두 백엔드 모두 모델 로드 후 약 90-102GB 범위에서 안정화됐다. 84GB 크기의 8비트 양자화 모델을 구동할 때 128GB 통합 메모리 환경은 충분한 여유 공간을 제공했다. 백엔드에 관계없이 동일한 가중치를 사용하므로 버그 탐지 및 코드 생성 품질은 두 환경에서 동일하게 우수한 것으로 확인됐다.

용어 해설

MLX: — Apple Silicon 하드웨어에서 기계 학습 연구를 위해 설계된 오픈 소스 프레임워크이다. Metal GPU 가속과 통합 메모리 구조를 직접 활용하여 Apple 기기에서 최적의 추론 및 학습 성능을 제공한다.
첫 토큰 생성 시간(TTFT): — 사용자의 요청이 전송된 후 모델이 첫 번째 응답 토큰을 출력할 때까지 걸리는 지연 시간이다. 프롬프트 처리 속도와 초기 디코딩 효율성을 측정하는 핵심 지표로, 사용자가 체감하는 반응성을 결정한다.
통합 메모리 아키텍처(Unified Memory Architecture): — CPU와 GPU가 동일한 메모리 풀을 공유하여 데이터 복사 과정 없이 자원에 접근하는 구조이다. 대규모 언어 모델 구동 시 데이터 전송 병목 현상을 줄여 성능을 극대화한다.
양자화(Quantization): — 모델의 가중치를 낮은 비트 정밀도(예: 8비트)로 변환하여 메모리 사용량을 줄이고 연산 속도를 높이는 기법이다. 모델 크기를 줄이면서도 성능 저하를 최소화하여 로컬 환경에서의 구동을 가능하게 한다.
콜드 스타트(Cold Start): — 모델이 메모리에 로드되지 않은 상태에서 처음으로 실행될 때 발생하는 지연 시간이다. 모델 파일 읽기, 가중치 로딩, 런타임 초기화 과정을 포함하며 인터랙티브한 사용 환경에서 중요한 요소이다.

언급된 도구

MLX추천

Apple Silicon 전용 기계 학습 프레임워크 및 추론 엔진

Ollama중립

llama.cpp 기반의 로컬 LLM 실행 도구

Qwen3-Coder-Next추천

코딩 특화 대규모 언어 모델

언급된 리소스

GitHubmlx-lm GitHub