Edge0/Edge0-35B-A3B-preview
SSD offload와 prerouter로 35B MoE를 2.9 GiB 활성 메모리에서 실행
학습 방식 · Qwen/Qwen3.5-MoE-35B-A3B 기반 4-bit 양자화 모델에 fp16 teacher distillation 기반 Recover-LoRA와 expert routing을 미리 예측하는 prerouter adapter를 학습했습니다.
TL;DR
Edge0-35B-A3B-preview는 Qwen/Qwen3.5-MoE-35B-A3B를 기반으로 한 4-bit 양자화 MoE preview 모델이며, int4 base에 Recover-LoRA와 prerouter adapter를 결합했습니다. edge0의 SSD expert offload가 필요한 expert weight만 저장장치에서 읽어 활성 weight만 RAM에 유지하고, prerouter가 다음 expert 경로를 미리 예측해 로딩과 forward pass를 겹칩니다. 그 결과 Mac mini M4 Pro에서 활성 메모리 2.9 GiB, decode 14.9–17.7 tok/s를 기록했으며, OpenCompass 평균 점수는 fp16 기반 모델보다 3.9점 낮은 79.2점입니다. Apple Silicon 기반 edge·on-device 추론과 여러 LoRA adapter를 공유하는 배치 serving에 적합하지만, 긴 context와 agentic task에서는 제약이 있습니다.
핵심 포인트
- SSD expert offload가 토큰별로 필요한 expert weight만 스트리밍해 전체 4-bit checkpoint를 저장장치에 두고 활성 weight만 RAM에 올립니다.
- Prerouter가 다음 expert routing을 한 단계 앞서 예측해 weight 로딩과 forward pass를 겹치며 decode throughput을 최대 59% 높입니다.
- Recover-LoRA가 fp16 teacher의 distillation으로 int4 양자화 손실을 보정해 평균 성능 차이를 3.9점으로 줄입니다.
- 기본 모델과 여러 LoRA adapter가 분리된 상태로 공존해 하나의 read-only base를 재양자화 없이 여러 adapter set에 재사용합니다.
제한사항
- Preview release라 언어 범위와 품질이 아직 확장 중이며 base model의 언어 특성에 주로 맞춰져 있습니다.
- tool use, multi-step planning, long-horizon autonomy를 포함한 agentic task 최적화가 부족합니다.
- 현재 MLX backend는 Apple Silicon을 대상으로 하며, 긴 context에서는 KV cache가 증가해 3 GiB 메모리 목표를 넘을 수 있습니다.
벤치마크
| 벤치마크 | 지표 | 값 | 비교 |
|---|---|---|---|
| AIME 2026 | score | 86.6 | Qwen3.5-MoE 35B-A3B fp16 기반 모델 92.7; 동일 OpenCompass 설정의 비교 수치 |
| HumanEval | score | 90.9 | Qwen3.5-MoE 35B-A3B fp16 기반 모델 95.1; 동일 OpenCompass 설정의 비교 수치 |
| GPQA-Diamond | score | 79.8 | Qwen3.5-MoE 35B-A3B fp16 기반 모델 81.8; 동일 OpenCompass 설정의 비교 수치 |
| MMLU-Pro | score | 81.0 | Qwen3.5-MoE 35B-A3B fp16 기반 모델 84.6; 동일 OpenCompass 설정의 비교 수치 |
| IFBench | score | 57.9 | Qwen3.5-MoE 35B-A3B fp16 기반 모델 61.7; 동일 OpenCompass 설정의 비교 수치 |
| Average | score | 79.2 | Qwen3.5-MoE-35B-A3B fp16 기반 모델 83.2; 두 모델 모두 동일 OpenCompass 설정에서 측정 |
98
LIKES
951
DOWNLOADS
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.
