TL;DR

Maple-Preview는 24-layer 256-expert(8 active) 구조와 ternary-weight 표현을 결합한 20B-A1B Mixture-of-Experts 추론 모델로, 활성 파라미터를 약 1.49B 수준으로 억제해 체크포인트를 5.31GB로 줄이고 Mac mini M4에서 약 218 tokens/s의 높은 처리량을 달성합니다. SWA-512:GA 3:1 attention과 MoE 활성화 설계가 긴 컨텍스트(131,072 tokens)를 유지하면서도 처리 효율을 확보하는 핵심 메커니즘입니다. 벤치마크에서는 평균 78.7점을 기록해 동급 모델 대비 강한 추론 성능을 보이지만, 프리뷰라는 이유로 에이전트형 작업에 대한 후처리가 제한되어 있어 범용성 향상을 위한 추가 훈련이 필요합니다.

핵심 포인트

• Maple-Preview는 20B-A1B 규격의 ternary-weight Mixture-of-Experts 모델로서 핵심 설계는 메모리 절감과 활성 파라미터 최소화를 통한 고속 추론입니다. 내부 구조는 24개 레이어와 256개의 전문가(expert)를 갖추고 있으며 각 토큰마다 8개의 전문가만 활성화되도록 설계되어 처리 비용을 줄입니다. 가중치를 ternary(삼진값)로 표현해 체크포인트 크기를 5.31GB로 낮추었고, 이로 인해 로컬 장치에서 200+ tokens/s 수준의 추론이 가능해졌습니다.
• 추론 효율을 끌어올리기 위해 주목(attention) 설계에서 3:1 SWA-512:GA 비율을 적용했고, 출력은 dense head를 사용해 벤치마크 점수를 산출합니다. 이 조합이 긴 컨텍스트(131,072 tokens)를 유지하면서도 처리량을 확보하는 동작 메커니즘을 제공합니다. 결과적으로 Mac mini M4에서 218 tokens/s를 기록해 같은 계열의 효율 모델들보다 5~16배 빠른 처리율을 보였습니다.
• 성능 측면에서는 수치화된 논리·수학적 추론 능력이 강조되어 있으며, README와 표에 따르면 LCBv6·AIME26·HMMT26·GPQA-D 등에서 평균 78.7점을 기록했습니다. 특히 AIME26과 같은 고난도 수학 문제에서 높은 점수를 받는 것이 눈에 띄며, 개발자는 이 모델을 'reasoning'에 초점을 맞춘 프리뷰로 위치시켰습니다. dense 출력 헤드를 사용한 비교 결과를 바탕으로 동급 무게(class)에서 경쟁력 있는 추론 성능을 확보했다는 근거가 제시되어 있습니다.
• 배포·실행 환경에서는 Transformers 구현이 Triton과 FlashAttention에 의존하며, GPU 환경에서는 해당 스택이 필요합니다. Apple Silicon 결과는 별도 온디바이스 런타임을 통해 보고되었고, README는 CUDA 환경과 Apple 환경의 실행 경로가 분리되어 있음을 명확히 제시합니다. 이 때문에 로컬 Mac에서의 빠른 속도와 CUDA 기반 서버 실행 방식이 서로 다른 실행체계를 따른다는 점을 고려해야 합니다.

제한사항

벤치마크

이미지 분석