TL;DR

fuse-1 Lite는 LiquidAI의 LFM2.5-2.6B를 호스트로 하고 Qwen3.6-35B-A3B에서 추출한 960개의 코딩 전문가를 잔차 보강 방식으로 이식한 5.72B Mixture-of-Experts 퓨전 모델로, 호스트와 전문가 가중치는 동결하고 라우터와 레이어별 스케일(총 약 2.0M 파라미터)만 학습합니다. 토큰별 top-8 라우팅과 전문가 출력의 표준편차 정규화, 스케일 클램프 등의 안정화 기법을 통해 코딩 관련 토큰에서만 전문가를 선택적으로 활성화하도록 설계되어 있으며 라우터는 최종적으로 30개 레이어 중 11개 레이어에서 주로 전문가를 활성화하도록 학습되었습니다. 학습은 300스텝, 약 8.3분에 걸쳐 소량의 예제로 진행되어 비용 효율성을 노리는 반면 데이터의 제한으로 일반화와 전문가 호환성 검증이 필요하고, 배포는 bfloat16/8bit/4bit, MLX, GGUF, vLLM 플러그인 등 다양한 옵션을 제공하지만 커스텀 아키텍처로 인한 추가 설정이 요구됩니다.

핵심 포인트

• fuse-1 Lite는 LiquidAI의 LFM2.5-2.6B를 호스트로 삼고 Qwen3.6-35B-A3B에서 추출한 960개의 코딩 전문 expert를 이식하는 Mixture-of-Experts 기반 퓨전 설계입니다. 전문가 가중치는 그대로 통합하고 호스트와 전문가 블록은 동결한 채, 토큰별로 어떤 expert를 활성화할지 결정하는 라우터와 레이어별 스케일만 학습합니다. 이 방식은 지식 증류나 전체 재학습 없이 대형 모델의 코딩 역량을 소형 호스트에 효율적으로 주입하는 것을 목표로 합니다.
• 시스템 구성과 운영 방식은 구체적입니다. 총 파라미터는 5.72B이며 호스트는 2.70B, 추출된 전문가 파라미터는 3.02B로 표기되어 있고 학습 가능한 파라미터는 라우터와 스케일 등 약 2.0M에 불과합니다. 라우터는 토큰별로 top-8 experts를 선택하고 전문가 중간 크기는 512이며, 전문가 출력은 호스트 표준편차로 정규화된 뒤 학습된 스케일로 잔차로 더해지는 흐름을 가집니다.
• 학습과 배포 측면에서 비용과 옵션이 강조되어 있습니다. 라우터 학습은 300 스텝, 실측 시간은 Modal L4에서 8.3분이며 전체 학습 비용은 약 3달러로 기재되어 있습니다. 배포용으로 bfloat16 safetensors와 bitsandbytes 8‑bit/4‑bit(NF4) 양자화 버전, MLX(Apple Silicon), GGUF(특수 llama.cpp 포크 필요), vLLM 플러그인 등 다양한 포맷을 제공해 VRAM 제약에 따라 선택할 수 있도록 설계되어 있습니다.

제한사항

벤치마크