TL;DR

Bonsai 27B는 Qwen3.6-27B를 기반으로 모든 언어 가중치를 Binary g128 네이티브 포맷으로 재표현해 3.9GB 배포 크기와 262K 토큰 컨텍스트를 달성한 27B급 온디바이스 생성 모델이다. 가중치의 부호 비트와 그룹 단위 FP16 스케일을 사용해 실효 1.125 bits/weight를 확보했고, 하이브리드 어텐션과 4-bit KV 캐시 양자화로 긴 문맥을 유지하면서도 메모리 요구를 통제했다. 커널 수준에서 가중치를 풀어쓰지 않는 MLX/CUDA 구현과 DSpark speculative drafter의 조합으로 모바일과 서버 환경에서 실용적인 처리량과 무손실 디코딩 가속을 제공한다. 이 설계는 수학과 코딩 같은 고난도 항목에서 FP16 대비 근접한 성능을 유지하면서도 처음으로 27B급 모델을 스마트폰 수준 메모리 예산에서 실행 가능하게 했지만, 에이전트적 장기 코딩 워크플로와 모바일의 지속적 스로틀링 같은 제한은 여전히 존재한다.

핵심 역량

• 대규모 텍스트 생성과 복잡한 추론을 장기 컨텍스트(최대 262K 토큰)에서 수행할 수 있다. 모델 아키텍처의 하이브리드 어텐션과 4-bit KV 캐시 양자화로 긴 대화 히스토리를 유지하면서도 메모리 사용을 제어했다. 수학 및 코딩 과제에 대한 벤치마크 점수가 FP16 기준과 근접한 수준으로 유지된다.
• 온디바이스(스마트폰 및 노트북)에서 실시간에 가까운 토큰 생성이 가능하다. Binary g128의 네이티브 패킹과 커스텀 MLX/CUDA 커널로 가중치를 전개하지 않고 직접 연산해 메모리 대역폭을 줄였다. 이로 인해 iPhone 17 Pro Max에서 ~11 tok/s, Apple M5 Pro 노트북에서 ~44 tok/s 같은 실측 처리량이 가능해졌다.
• 대화형 에이전트와 툴 호출 워크플로의 기반으로 사용될 수 있다. 모델은 에이전트적 행동을 유지하도록 설계되어 도구 호출과 멀티스텝 계획을 지원하는 능력이 보고되었다. 다만 긴 호라이즌의 멀티파일 코딩 파이프라인에 대해선 추가 최적화가 필요하다.
• 서버 및 단일 GPU 서빙 환경에서도 효율적이다. GGUF 포맷과 fused 1-bit GEMM 커널을 이용한 CUDA 경로는 가중치를 FP16으로 풀지 않고도 높은 토크 생성량을 달성했다. DSpark drafter를 조합하면 CUDA 환경에서 엔드투엔드 디코딩 속도를 1.37x까지 높일 수 있다.

강점

• 온디바이스 27B급 실행을 처음으로 실현한 사례로서 모델 파일이 3.9GB에 불과해 고성능 스마트폰의 per-app 메모리 예산에 적합하다. 네이티브 Binary g128 포맷과 4-bit KV 캐시 조합으로 긴 컨텍스트 처리까지 가능해 사용 사례 범위가 넓다. 이로 인해 로컬 프라이버시와 오프라인 추론, 저지연 응답이 가능한 환경에서 활용도가 높다.
• 긴 컨텍스트와 추론 품질에서 균형을 이룬 점이 강점이다. 하이브리드 어텐션과 거의 손실이 없는 KV 캐시 양자화로 262K 토큰 윈도우를 실용적으로 제공하며 수학과 코딩 같은 고난도 항목에서 FP16 대비 근접한 성능을 유지했다. 따라서 긴 문서 분석이나 리포지토리 단위 코드 처리 같은 워크로드에 적합하다.
• 서버 및 GPU 경로에서도 효율적이다. CUDA용 fused 1-bit GEMM 및 llama.cpp/MLX용 커널에서 가중치를 풀지 않고 연산해 메모리 대역폭을 절감했고 DSpark drafter를 결합하면 H100 환경에서 디코딩 속도를 1.37x까지 개선한 측정 결과가 있다. 이로 인해 단일 GPU 서빙으로도 27B급 품질을 실용적으로 제공할 수 있다.

훈련 방식

기본적으로 Qwen3.6-27B 아키텍처를 유지한 채로 전체 언어 가중치를 Binary g128 형식으로 변환·재포장한 빌드이다. DSpark drafter는 저비트 타겟을 학습 목표로 별도 훈련되어 speculative decoding과 검증 워크플로를 따른다. 훈련과 최적화는 저비트 표현의 정밀도와 그룹 스케일 방식을 맞추는 데 초점을 두었다.

알아두면 좋은 것

• 모델은 전체 언어 가중치에 대해 Binary g128(유효 1.125 bits/weight)을 적용해 FP16 대비 약 14.2배 작은 3.9GB 배포 크기를 달성했다. 그룹 당 하나의 FP16 scale을 사용해 128개 가중치 그룹을 재구성하며, MLX 포장에서는 현행 포맷 제약으로 인해 실효 비트율이 1.25 bits/weight 수준으로 올라간다. 이 차이는 MLX 포맷이 scale-only 그룹을 아직 지원하지 않기 때문이다.
• 하이브리드 어텐션(약 75% 선형·25% 완전)을 기반으로 컨텍스트 확장성을 확보했고, KV 캐시를 4-bit로 거의 손실 없이 양자화해 100K~262K 토큰 윈도우를 실용적 메모리 예산으로 유지했다. 실제 피크 메모리는 가중치와 KV 캐시, 런타임 버퍼를 합쳐 계산되며 262K 문맥에서의 전체 피크는 플랫폼과 KV 양자화 여부에 따라 약 9.4GB~12.2GB 범위다. 이 설계로 고성능 노트북과 일부 모바일 기기에서 긴 문서 추론이 가능해졌다.
• DSpark drafter는 목표 모델과 분포를 일치시키는 검증 절차를 통해 손실 없이 디코딩을 가속하며 CUDA 경로에서 실측 1.37x 속도 향상을 보였다. drafter는 6개 레이어의 블록 병렬 Transformer로 구성되고 draft/verify 워크플로우를 따른다. 온디바이스에서는 배치-1 검증 비용 때문에 기본 활성화가 아니며 주로 서버/CUDA 경로에서 이득이 유의미하다.
• 벤치마크는 thinking 모드로 평가되었고 15개 기준에서 평균 76.11을 기록해 FP16 대비 89.5%의 평균 성능을 유지했다. 특히 수학과 코딩 영역에서는 FP16 대비 성능 저하가 크지 않고 긴 연쇄 추론이 요구되는 항목에서 Conventional sub-4-bit 방식의 붕괴가 흔히 관찰되는 반면 Bonsai는 이 영역에서 강건함을 유지했다. Ternary 운영 포인트(2-bit)도 함께 배포되어 라이트한 GPU/랩탑 환경에서는 품질-중심 선택지가 제공된다.

기술적 특징

• Binary g128 포맷은 각 가중치를 하나의 부호 비트로 표현하고 128개 가중치 그룹마다 하나의 FP16 스케일을 공유해 실효 1.125 bits/weight를 달성했다. 이 방식은 가중치를 메모리에 네이티브 패킹된 상태로 보관하고 추론 시에도 풀어쓰지 않고 직접 처리해 메모리 대역폭을 줄인다. 결과적으로 FP16 대비 약 14.2배 작은 배포 크기(3.9GB)를 실현해 온디바이스 배포를 가능하게 했다.
• 하이브리드 어텐션 구조는 약 75% 선형 어텐션과 25% 전통적 어텐션을 혼합해 긴 컨텍스트 확장성과局부적 정확성의 균형을 잡았다. 전체 64개 블록 중 16개 레이어만이 full-attention 캐시를 성장시키며 KV 캐시는 근손실 4-bit로 양자화해 캐시 관련 메모리 부담을 낮췄다. 이 설계로 수십만 토큰의 창을 유지하면서도 런타임 메모리 요구를 관리할 수 있었다.
• 커널과 런타임은 Apple MLX(파이썬·스위프트)와 CUDA 경로를 위한 맞춤형 저비트 구현을 포함한다. GGUF/llama.cpp 및 MLX 포장 방식은 그룹 스케일을 매트릭스 곱 내부에서 적용해 가중치를 FP16으로 확장하지 않고도 GEMM을 수행한다. 따라서 가중치 전개에 따른 메모리 피크를 피하면서도 실제 연산에서의 대역폭을 낮춰 모바일과 노트북에서의 실용적 처리를 가능하게 했다.
• DSpark speculative-decoding drafter는 6개 레이어의 블록 병렬 Transformer로 구성되어 타겟 모델의 숨겨진 상태 일부를 탭해 초안을 생성하고 검증을 통해 손실 없이 토큰을 확정한다. drafter는 Q4_1로 양자화되어 제공되며 CUDA 경로에서 τ ≈ 3.6, k = 4의 측정치로 1.37x 엔드투엔드 속도 향상을 기록했다. 온디바이스에서는 배치-1 검증 비용 때문에 기본 활성화가 아니며 서버 쪽에서 이득이 더 크다.

차별점

• 전체 언어 가중치를 네이티브 1-bit Binary g128로 유지해 FP16 대비 약 14.2배 작은 배포 크기와 1.125 bits/weight의 정직한 비트율을 달성했다. 이 접근은 가중치를 풀어쓰지 않고 커널에서 직접 소비하므로 메모리 피크와 대역폭 비용을 동시 절감한다. 그 결과 처음으로 27B급 모델을 스마트폰 수준의 per-app 메모리 예산 내에서 실행 가능하게 했다.
• 하이브리드 어텐션과 4-bit KV 캐시 양자화를 결합해 262K 토큰이라는 매우 긴 컨텍스트를 실용적으로 제공했다. 선형 어텐션이 긴 창을 지원하고 일부 레이어의 full-attention이 정밀도를 보존하는 방식으로 품질과 확장성을 균형시켰다. 이 조합은 긴 문서 분석과 멀티턴 에이전트 워크플로에서의 실용적 이점을 만든다.
• 서버 측에서는 DSpark drafter를 통해 손실 없는 speculative decoding 가속을 제공해 CUDA 환경에서 실측 1.37x 디코딩 속도 향상을 확보했다. drafter는 초안 생성과 검증을 분리해 합치면 출력 분포를 보존하면서 처리량을 높인다. 온디바이스에서는 검증 오버헤드로 기본 활성화가 아니지만 서버·CUDA 경로에서 명확한 실이득을 만든다.

벤치마크