Mac용 MLX 추론 엔진 벤치마크 도구 mlx-Chronos 공개

커뮤니티 반응

커뮤니티는 Mac 환경에서 LLM을 구동하는 사용자들의 공통적인 고민인 성능 비교 문제를 해결하는 도구에 대해 긍정적인 반응을 보일 것으로 예상된다.

실용적 조언

mlx-Chronos를 사용하여 본인의 Mac 하드웨어에서 다양한 MLX 추론 엔진의 성능을 직접 측정하고 비교해 보십시오.
벤치마크 결과를 커뮤니티 리더보드에 제출하여 데이터 수집에 기여하십시오.

섹션별 상세

작성자는 기존 벤치마크가 엔진 개발자의 편향된 수치이거나, 일반 사용자가 접근하기 어려운 고사양 하드웨어(M3 Ultra 등)에 의존하는 문제를 해결하고자 mlx-Chronos를 개발했다. 이 도구는 Mac 환경에서 MLX 추론 엔진을 표준화된 프로토콜로 측정하는 CLI 기반 오픈소스 프로젝트이다.

측정 항목은 냉각 및 캐시된 상태의 TTFT(Time to First Token), 반복 시행을 통한 평균/표준편차/최대/최소 처리량(tok/s), 추론 중 프로세스 RSS 및 시스템 RAM 피크, 그리고 하드웨어 열 상태를 포함한다. 이러한 다각적 지표를 통해 단순 토큰 처리량만 보여주는 기존 벤치마크보다 구체적인 성능 맥락을 제공한다.

현재 oMLX, Rapid-MLX, mlx-lm, Ollama(MLX 백엔드)를 지원하며, 사용자가 측정 결과를 커뮤니티 리더보드에 제출할 수 있도록 설계되었다. 작성자는 M2 8GB 모델 외에 M3 Max, M4, M4 Ultra 등 다양한 하드웨어에서의 데이터를 수집하여 신뢰할 수 있는 성능 비교 환경을 구축하고자 한다.

언급된 도구

mlx-chronos추천링크

MLX 추론 엔진 벤치마크 및 리더보드 도구

Ollama중립

MLX 백엔드를 사용하는 추론 엔진

mlx-lm중립

MLX 추론 라이브러리

언급된 리소스

GitHubmlx-Chronos GitHub

Demomlx-Chronos Leaderboard