MacBook Pro M4 Pro 기반 MLX 모델 5종 벤치마크: MoE 아키텍처의 압도적 효율성 확인

작성자의 상세한 벤치마크 결과에 대해 대체로 긍정적이며, 특히 MoE 모델의 압도적인 속도 향상 수치에 놀라움을 표하는 반응이 많다.

• 실시간 코딩 어시스턴트가 필요하다면 87.7 tok/s의 속도를 내는 Qwen 3.5-35B-A3B-4bit를 사용하라.
• 16GB RAM Mac 사용자라면 Gemma 4 E4B-8bit 모델이 속도와 메모리 점유율 면에서 최적의 선택이다.
• 속도와 상관없이 가장 정교한 결과물이 필요할 때만 Gemma 4 31B Dense 모델을 활용하라.

MoE

— 전체 파라미터 중 일부만 활성화하여 추론하는 아키텍처이다. 입력 토큰마다 필요한 '전문가' 레이어만 선택적으로 사용하여 연산량과 메모리 대역폭 요구량을 획기적으로 줄이면서도 대규모 모델의 지식 용량을 유지한다.

Unified Memory

— CPU와 GPU가 동일한 메모리 공간을 공유하는 Apple Silicon의 설계 방식이다. 데이터 복사 과정이 없어 LLM 추론 시 대용량 모델을 GPU 메모리로 빠르게 로드하고 처리하는 데 매우 유리하다.

Memory Bandwidth

— 단위 시간당 메모리에서 프로세서로 전달되는 데이터의 양이다. 로컬 LLM 추론 속도는 연산 성능보다 이 대역폭에 의해 결정되는 경우가 많으며, M4 Pro는 273 GB/s의 성능을 제공한다.

TTFT

— 사용자의 입력 후 첫 번째 응답 토큰이 출력될 때까지 걸리는 지연 시간이다. 대화형 AI의 체감 성능을 결정하는 핵심 지표로, MoE 모델은 Dense 모델보다 훨씬 짧은 TTFT를 기록한다.