oMLX: Apple Silicon을 위한 로컬 프롬프트 캐싱 지원 macOS 네이티브 MLX 서버

섹션별 상세

로컬 환경에서 긴 프롬프트를 처리할 때 발생하는 심각한 지연 시간을 스마트 캐싱 기술로 해결했다. 동일한 시스템 프롬프트나 대화 이력을 다시 계산하지 않고 캐시된 토큰을 재사용함으로써 추론 시작 전 대기 시간을 최소화한다. 실제 벤치마크 결과 Claude Code 등의 도구에서 응답 속도가 최대 18배까지 빨라지는 효과를 제공한다. 이는 반복적인 코드 수정이나 긴 문서 분석 작업에서 개발자 생산성을 직접적으로 향상시킨다.

oMLX 대시보드의 다크 모드 인터페이스로 서빙 통계와 API 엔드포인트 설정을 보여준다. — Screenshot대시보드 상단에서 91.3%에 달하는 높은 캐시 효율(Cache Efficiency)과 초당 398.9 토큰의 프롬프트 처리 속도를 확인할 수 있다. 하단에는 OpenAI 및 Claude API 엔드포인트 설정과 함께 Claude Code 연동을 위한 로컬 실행 명령어가 상세히 안내되어 있어 실제 사용 환경을 직관적으로 파악할 수 있게 돕는다.

근거

Claude Code, OpenClaw, Cursor의 응답 시간을 90초에서 5초로 단축한다. — 본문 상단 'Claude Code, OpenClaw, and Cursor respond in 5 seconds, not 90' 문구

Apple의 MLX 프레임워크를 기반으로 구축되어 Apple Silicon 하드웨어 가속을 최대한 활용한다. macOS 15 이상 환경에서 네이티브 앱으로 작동하며, 통합 메모리 아키텍처를 효율적으로 사용하여 높은 토큰 처리량을 유지한다. v0.2.0 버전부터는 텍스트뿐만 아니라 시각 언어 모델(VLM)에 대해서도 동일한 paged SSD 캐싱 메커니즘을 적용했다. 이를 통해 대규모 멀티모달 모델도 로컬 환경에서 안정적이고 빠르게 구동할 수 있는 기반을 마련했다.

근거

v0.2.0 버전부터 paged SSD 캐싱을 통한 시각 언어 모델(VLM)을 지원한다. — 본문 중단 'Vision-Language Models are supported since v0.2.0' 섹션

기존 로컬 AI 생태계와의 높은 호환성을 제공하여 사용자 진입 장벽을 낮췄다. LM Studio에서 이미 다운로드한 모델 디렉토리를 그대로 연결하여 사용할 수 있어 중복 저장 공간 낭비를 방지한다. OpenAI 호환 API 엔드포인트를 제공하므로 Cursor, OpenClaw 등 기존의 다양한 AI 클라이언트 도구와 즉시 연동된다. 설치 과정 또한 DMG 파일을 통한 일반적인 macOS 앱 설치 방식을 지원하여 비전문가도 쉽게 접근 가능하다.

기술

MLX
macOS
Python
OpenAI API
Claude Code
LM Studio

활용 사례

로컬 환경에서의 고속 AI 코딩 보조 (Cursor 연동)
시각 언어 모델(VLM) 기반 이미지 분석
반복적 프롬프트가 발생하는 RAG 시스템 테스트

언급된 리소스

GitHuboMLX GitHub Repository