M4 Max에서 Qwen 2.5 122B MoE 모델의 MLX vs GGUF 성능 비교 벤치마크

MLX의 압도적인 성능 결과에 대해 놀랍다는 반응이 주를 이루며, 맥 사용자들 사이에서 MLX 포맷 사용이 사실상 표준으로 굳어지는 분위기이다.

• 맥에서 대규모 언어 모델을 구동할 때는 Hugging Face의 mlx-community에서 제공하는 모델을 우선적으로 선택할 것.
• 긴 문맥을 처리해야 하는 작업에서는 TTFT 단축을 위해 반드시 MLX 프레임워크를 활용할 것.

MLX 프레임워크(MLX)

— 애플 실리콘(Apple Silicon) 하드웨어에 최적화된 머신러닝 프레임워크이다. 통합 메모리 아키텍처를 활용하여 GPU와 CPU 간의 데이터 전송 병목을 최소화하며, 맥 환경에서 대규모 언어 모델의 추론 및 학습 속도를 극대화하는 역할을 한다.

GGUF 포맷(GGUF)

— llama.cpp 프로젝트에서 개발한 대규모 언어 모델 저장 및 배포용 파일 형식이다. 단일 파일에 모델 가중치와 메타데이터를 포함하며, CPU와 GPU를 동시에 활용하는 추론에 최적화되어 다양한 하드웨어 환경에서 범용적으로 사용된다.

첫 토큰 생성 시간(TTFT)

— 사용자의 프롬프트 입력 후 인공지능 모델이 첫 번째 응답 토큰을 생성하기까지 걸리는 시간이다. 대규모 컨텍스트를 처리할 때 모델의 연산 효율성을 판단하는 핵심 지표이며, 사용자 경험의 즉각성을 결정하는 중요한 요소이다.

전문가 혼합 모델(MoE)

— 모든 파라미터를 사용하는 대신 입력값에 따라 특정 전문가 네트워크만 활성화하는 모델 구조이다. 연산 비용을 낮추면서도 대규모 파라미터의 성능을 유지할 수 있어 최근 고성능 오픈소스 모델에서 널리 채택되는 아키텍처이다.