mindlab-research/Macaron-V1-Tall
개인화 에이전트·도구 사용·코딩·코드 네이티브 Generative UI (Mixture of LoRA 라우팅)256K 컨텍스트mit
MindLab Research의 Qwen3.6-35B-A3B 기반 Mixture-of-LoRA 모델로 L0 라우터가 요청을 Chat·Agent·Coding·GenUI 4개 LoRA 전문가에게 나눠 처리한다.
학습 방식 · Qwen3.6-35B-A3B 베이스 위에 4개의 rank-64 LoRA 전문가를 MinT+MindForge 후처리 시스템으로 각각 학습해 Mixture of LoRA 구조로 결합했다.
TL;DR
Macaron-V1-Tall은 Qwen3.6-35B-A3B MoE 베이스에 Chat·Agent·Coding·GenUI 4개의 LoRA(rank 64) 전문가를 얹은 Mixture of LoRA(MoL) 모델로, L0 라우터가 매 요청을 가장 적합한 전문가에게 배정하고 선택된 LoRA 안에서 추론과 도구 호출이 진행된다. 262K 컨텍스트를 지원하며 개인 에이전트 업무, 저수준 도구 사용, 리포지토리 단위 코딩, UI4A 방식의 코드 네이티브 Generative UI 생성을 하나의 체크포인트로 다룬다. MinT+MindForge 후처리 시스템으로 학습됐고, BF16 베이스 체크포인트와 4개 LoRA 어댑터(loras/L0~L3)로 배포돼 자체 Mixture-of-LoRA 서빙 하니스나 호스팅 API로 바로 쓸 수 있다. Macaron-V1-Venti라는 다른 배포 프로필의 자매 모델과 같은 전문가 구성을 공유한다.
핵심 포인트
- L0 라우터가 매 요청을 Chat·Agent·Coding·GenUI 4개 LoRA 전문가 중 하나로 배정한다.
- 코드 네이티브 Generative UI(UI4A)를 전용 LoRA로 지원해 렌더링 가능한 UI를 직접 만들어낸다.
- Qwen3.6-35B-A3B MoE 베이스와 262K 컨텍스트를 물려받아 개인 에이전트·리포지토리 코딩에 쓴다.
58
LIKES
1k
DOWNLOADS
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.