anemll-flash-mlx: Apple Silicon에서 MLX를 활용한 Flash-MoE 실험 가속화 툴킷

대체로 긍정적이며, MLX 환경에서 MoE 모델을 효율적으로 돌리려는 사용자들의 관심이 높다.

• VRAM이 부족한 Mac 기기에서 Qwen 3.5 같은 대형 모델을 테스트할 때 anemll-flash-mlx를 활용하면 좋다.
• mlx-community의 체크포인트를 그대로 사용할 수 있어 기존 모델 자산을 활용하기 용이하다.

• Apple Silicon의 통합 메모리 구조를 활용하면서도 SSD 스트리밍을 통해 VRAM 용량을 초과하는 대형 MoE 모델을 구동할 수 있다.
• 슬롯 뱅크 관리와 히트/미스 분리 로직을 통해 불필요한 전문가 로딩을 최소화하고 추론 속도를 최적화했다.
• 해킹 가능한(hackable) 구조로 설계되어 다른 모델로의 확장이 용이하며 곧 llama.cpp 포크 버전도 출시될 예정이다.