Apple Silicon에서 LLM을 최적화하는 mlx-optiq

섹션별 상세

기존 균일 양자화는 모든 레이어를 동일한 비트로 처리하여 민감한 레이어에서 성능 저하를 유발한다. mlx-optiq는 KL 발산을 통해 레이어별 중요도를 측정하고, 중요한 레이어는 8비트, 나머지는 4비트로 할당하여 모델 크기 대비 성능을 극대화한다.

KV 캐시 역시 레이어별 민감도가 다르므로, 이를 혼합 정밀도로 처리하여 긴 컨텍스트 추론 시 지연 시간을 단축한다. 이 과정은 별도의 민감도 측정 단계를 거쳐 최적의 설정을 도출한다.

LoRA 파인튜닝 시 레이어별 비트 수에 맞춰 어댑터 랭크를 조정한다. 여러 어댑터를 베이스 모델에 마운트한 상태에서 요청별로 교체할 수 있어 재로딩 없이 효율적인 학습과 서빙이 가능하다.

API 서버, LoRA 파인튜닝, 시각적 모델 지원, OptIQ Lab GUI를 하나의 스택으로 제공한다. OpenAI 및 Anthropic 프로토콜을 동시에 지원하여 로컬 모델을 기존 에이전트 도구와 즉시 연동할 수 있다.

실제 벤치마크 결과, bf16 대비 3.1배의 평균 압축률을 기록하며 MTP(Multi-Token Prediction)와 결합 시 디코딩 속도가 1.4배 향상된다. 140k 이상의 월간 다운로드를 기록하며 로컬 LLM 워크벤치로서 기능을 수행한다.