M4 Max에서 Qwen 2.5 122B MoE 모델의 MLX vs GGUF 성능 비교 벤치마크

MLX의 압도적인 성능 결과에 대해 놀랍다는 반응이 주를 이루며, 맥 사용자들 사이에서 MLX 포맷 사용이 사실상 표준으로 굳어지는 분위기이다.

• 맥에서 대규모 언어 모델을 구동할 때는 Hugging Face의 mlx-community에서 제공하는 모델을 우선적으로 선택할 것.
• 긴 문맥을 처리해야 하는 작업에서는 TTFT 단축을 위해 반드시 MLX 프레임워크를 활용할 것.

• 애플 실리콘(M4 Max) 환경에서는 MLX 포맷이 GGUF보다 추론 속도와 메모리 효율 면에서 월등히 유리하다.
• 대규모 컨텍스트(80k~120k) 처리 시 MLX의 성능 우위가 더욱 두드러지며 특히 첫 토큰 생성 시간에서 큰 차이가 발생한다.
• GGUF의 특정 양자화 방식인 Q5_K_XL은 현재 맥 하드웨어 가속에 최적화되지 않아 성능 저하를 유발할 가능성이 높다.