Apple Silicon 통합 메모리에 최적화된 고성능 추론 엔진 'Bodega' 기술 분석

대체로 긍정적이며, 특히 Apple Silicon의 하드웨어 잠재력을 끌어올린 기술적 접근 방식에 대해 많은 사용자가 관심을 보였다.

• Apple Silicon 기기에서 다중 요청을 처리할 때는 MLX 기반의 전용 엔진을 사용하는 것이 성능상 유리하다.
• 메모리가 부족한 환경에서는 KV 캐시를 4비트로 양자화하여 동시 세션 수를 늘릴 수 있다.
• 동일한 시스템 프롬프트를 반복 사용하는 경우 접두사 캐싱 기능을 활성화하여 TTFT를 줄여야 한다.

• Apple Silicon의 통합 메모리 구조에서는 KV 캐시 블록의 축출이 가중치 로딩에 사용하는 공유 버스 대역폭에 직접적인 영향을 미치므로, CUDA 기반 설계를 그대로 이식하는 것은 비효율적이다.

• Bodega는 M4 Max 환경에서 0.6B 모델 기준 5개 동시 요청 시 1,111 tok/s의 처리량을 기록하며 단일 요청 대비 2.76배 성능 향상을 보였다.
• 통합 메모리 환경에서는 KV 캐시 축출이 모델 가중치 로딩 대역폭에 영향을 주므로, 이를 제어하는 인터리빙 정책이 성능 최적화의 핵심이다.
• 공통 접두사 캐싱을 통해 10개의 동시 에이전트 실행 시 메모리 사용량을 약 70.8% 절감하고 실행 효율을 83.5% 개선했다.
• M4 Max 128GB 모델에서 30B MoE 모델 추론 시 단일 요청 123 tok/s, 5개 동시 요청 시 233 tok/s의 성능을 달성했다.