Apple의 LLM in a Flash 기법을 활용한 Qwen 397B 모델의 로컬 실행 연구

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

제한된 메모리 환경에서 거대 언어 모델을 실행하는 것은 하드웨어 자원의 한계로 인해 어렵다. Dan Woods는 Apple의 'LLM in a Flash' 연구를 적용하여 48GB RAM을 가진 MacBook Pro에서 209GB 크기의 Qwen 3.5 397B 모델을 실행하는 데 성공했다. MoE 아키텍처의 특성을 활용해 필요한 전문가 가중치만 SSD에서 RAM으로 스트리밍하고, Claude Code를 통한 자동화된 실험으로 최적의 Metal 코드를 생성했다. 이 방식은 고가의 GPU 서버 없이도 소비자용 기기에서 초거대 모델을 실용적인 속도로 구동할 수 있는 가능성을 보여준다.

배경

MoE(Mixture-of-Experts) 아키텍처 이해, 양자화(Quantization) 개념, Apple Silicon 및 MLX 프레임워크 기초

대상 독자

로컬 LLM 추론 최적화 및 Apple Silicon 성능 극대화에 관심 있는 개발자

의미 / 영향

고가의 H100 클러스터 없이도 개인용 워크스테이션에서 초거대 모델을 연구하고 활용할 수 있는 길을 열어준다. 특히 MoE 아키텍처와 고속 SSD의 조합이 로컬 추론의 핵심 트렌드가 될 것임을 시사한다.

섹션별 상세

Qwen3.5-397B-A17B 모델을 48GB RAM의 MacBook Pro M3 Max에서 초당 5.5토큰 이상의 속도로 실행했다. 이 모델은 디스크 용량이 209GB에 달하며 4비트 양자화 시에도 120GB를 차지하지만, MoE 구조를 활용해 전체 가중치를 메모리에 올리지 않고도 추론이 가능하다.

Apple의 2023년 논문 'LLM in a Flash'에서 제안된 기법을 핵심으로 사용했다. 플래시 메모리(SSD)의 특성을 고려한 추론 비용 모델을 구축하고, 데이터 전송량을 줄이면서 연속적인 대량 읽기를 최적화하여 필요한 전문가 가중치를 즉각적으로 DRAM으로 불러온다.

Claude Code와 Andrej Karpathy의 'autoresearch' 패턴을 결합하여 최적화 과정을 자동화했다. Claude가 90번의 실험을 직접 수행하며 MLX, Objective-C, Metal 기반의 고성능 코드를 생성했으며, 최종적으로 danveloper/flash-moe 저장소에 결과물을 공개했다.

모델의 전문가(Experts) 부분은 2비트로 양자화하고, 임베딩 테이블과 라우팅 매트릭스 등 핵심 요소는 원본 정밀도를 유지하여 약 5.5GB의 상주 메모리만 사용하도록 설계했다. 또한 토큰당 활성화되는 전문가 수를 기존 10개에서 4개로 줄여 연산 효율을 극대화했다.

실무 Takeaway

MoE 모델의 전문가 가중치를 SSD에서 실시간 스트리밍하면 RAM 용량보다 훨씬 큰 모델도 로컬에서 실행할 수 있다.
Claude Code와 같은 에이전트를 활용해 수십 번의 실험과 저수준 Metal 코드 작성을 자동화함으로써 복잡한 최적화 연구 속도를 획기적으로 높일 수 있다.
2비트 양자화와 전문가 활성화 수 조정을 통해 성능 저하를 최소화하면서도 추론 속도를 실용적인 수준인 5.5 t/s까지 끌어올릴 수 있다.

언급된 리소스

GitHubdanveloper/flash-moe

논문LLM in a flash: Efficient Large Language Model Inference with Limited Memory