TL;DR

Prism ML의 Ternary Bonsai 27B는 Qwen3.6-27B 백본을 유지한 채 가중치를 Q2_0_g128 삼진화로 재표현해 약 7.2GB로 배포 가능한 27B급 모델을 실현했다. 하이브리드 어텐션과 4비트 KV 캐시를 결합해 262K 토큰의 초장문 컨텍스트를 유지하며 수리·코딩·에이전트 항목에서 FP16 대비 대부분의 성능을 보존해 Thinking 평균 80.49를 기록했다. DSpark라는 경량 드래프터를 통해 서버 경로에서 검증 기반 추측 디코딩으로 실측상 디코드 속도가 향상되며 전반적으로 노트북·단일 GPU 환경에서 대형 모델 품질을 제공하는 것을 목표로 한다. 제약으로는 배포 시 실제 패킹 커널로 인해 정보론적 최소치(약 5.9GB)보다 큰 약 7.2GB가 요구되며 휴대폰급 메모리 한계로 모바일 배포는 동반된 1비트 변형을 사용해야 한다. 전체 설계는 품질 우선의 저비트 운영점을 지향하며 향후 네이티브 삼진 커널과 추가 KV 압축이 성능과 에너지에 추가 이득을 줄 것으로 전망된다.

핵심 역량

• 초장문 문맥을 활용한 추론과 요약을 수행할 수 있으며 하이브리드 어텐션과 4비트 KV 캐시로 262K 토큰까지 실사용 가능한 컨텍스트를 유지한다. 긴 대화나 문서 전반에 걸친 상태를 한 번에 관리해야 하는 작업에서 컨텍스트 유지 비용을 크게 낮춘다. 이로 인해 리포지토리 전체를 통째로 로딩해 코드 이해나 장문 분석을 수행하는 워크로드가 현실화된다.
• 수리적 추론과 코딩 과제를 저비트 환경에서도 높은 정밀도로 처리할 수 있으며 벤치마크상 math와 coding 항목에서 Full-precision과 근접한 점수를 기록했다. 특히 GSM8K와 MATH-500 등 수치형 과제에서 FP16 대비 수치 손실이 매우 작게 관찰되었다. 이러한 특성은 논리적 사슬을 유지해야 하는 과제에서 저비트 대비 우위를 만든다.
• 에이전트적 도구 호출과 다중 스텝 작업 수행 능력을 유지하며 벤치마크에서 agentic 항목에서 안정적인 점수를 보였다. DSpark 드래프터를 통해 추론 경로의 일부를 경량 모델로 초안 작성하고 본 모델이 검증하는 방식으로 서버 경로에서 디코드 속도를 높일 수 있다. 이 방식을 사용하면 출력 품질은 그대로 유지하면서 전체 처리량을 개선할 수 있다.
• 온디바이스 실행 환경에 맞춰 메모리와 대역폭 프로파일을 최적화하여 노트북·단일 GPU 환경에서 27B급 품질을 제공한다. GGUF 포맷과 llama.cpp용 커널을 통해 CUDA와 Metal, CPU 환경에서 직접 압축된 가중치를 소비하도록 구현되어 로드 시 FP16으로 재확장하지 않는다. 이 구현은 메모리 대역폭 중심의 병목을 공략해 실사용 가능한 인터랙티브 스루풋을 확보한다.

강점

• 대형 모델의 실사용 가능성을 메모리·대역폭 차원에서 확보해 표준 노트북과 단일 GPU 환경에서 27B급 추론이 가능하도록 배포 크기를 약 7.2GB로 실현했다. 이 결과는 FP16 기준 약 54GB와 비교해 배포 가능성 측면에서 본질적 차이를 만든다. 온디바이스 또는 프라이버시 민감 환경에서 로컬 실행 요구를 충족한다.
• 벤치마크상에서 전반적 사고 능력 평균이 80.49로 FP16의 85.07 대비 약 94.6% 수준을 유지해 저비트 화법에서도 수리·코딩·에이전트 항목의 핵심 역량을 상당 부분 보존했다. 특히 수학과 코딩 관련 벤치마크에서는 FP16과 근접한 점수를 기록해 품질 중심의 저비트 운영점임이 확인됐다. 이는 단순한 비트 축소가 아니라 표현 선택과 그룹 스케일로 품질을 지키려는 설계 결과이다.
• 오픈 소스 친화적 라이선스인 Apache-2.0을 적용해 상업적·연구 목적의 사용과 배포가 제약 없이 가능하도록 했다. 포크된 llama.cpp 및 MLX 관련 도구와의 연계로 다양한 플랫폼(CUDA, Metal, iOS)에서 실행 경로가 마련되어 있다. 개발자와 운영자가 도구 체인을 바로 활용할 수 있는 환경이 제공된다.

훈련 방식

기본 백본은 Qwen3.6-27B이며 아키텍처적 변경 없이 가중치를 Q2_0_g128 삼진화로 재표현해 저비트로 배포하는 접근을 사용했다. 드래프터인 DSpark는 목적 타깃에 맞춰 별도로 교육되어 추측 기반 디코딩 경로에서 검증 비용 모델을 통해 속도 이득을 제공한다. KV 캐시와 일부 실행 트릭(4비트 KV, 그룹 스케일 패킹)을 통해 장문 컨텍스트에서의 피크 메모리를 낮추었다.

알아두면 좋은 것

• 배포 크기는 GGUF Q2_0_g128 포맷으로 언어 모델만 기준 약 7.2GB로 표기되며 정보론적 최소치(약 5.9GB) 대비 실제 디플로이드 수치가 반영되어 있다.
• 모델은 전체 임베딩·어텐션·MLP·LM 헤드에 걸쳐 삼진 가중치를 적용해 평균 1.71비트/가중치의 표현을 달성했고 벤치마크 평균에서 FP16 대비 약 94.6%의 성능 보전을 보고했다.
• 하이브리드 어텐션 백본과 4비트 KV 캐시 결합으로 262K 토큰의 초장문 컨텍스트를 실사용 가능한 메모리 예산에서 유지할 수 있도록 설계되었다.
• DSpark라는 6층 드래프터를 동봉해 CUDA 경로에서 검증 가능한 드래프트를 사용하면 H100에서 엔드투엔드 1.34x 디코드 속도 향상이 측정되었다.

기술적 특징

• Q2_0_g128 삼진화는 각 128개 가중치 그룹에 하나의 FP16 스케일을 공유하고 가중치를 −1, 0, +1로 표현해 정보론적 비용을 약 1.71비트/가중치로 낮췄다. 이 방식은 그룹 스케일로 저비트 표현의 동적 범위를 복원해 저비트에서 발생하기 쉬운 성능 붕괴를 줄이는 효과를 냈다. GGUF 포맷과 llama.cpp용 패킹 커널은 가중치를 확장 없이 직접 소비하도록 설계되어 메모리 대역폭 활용을 극대화한다.
• 하이브리드 어텐션 백본은 약 75% 선형 어텐션과 25% 전체 어텐션 조합으로 구성되어 장기 문맥 처리 비용을 크게 줄였다. 이 구조는 KV 캐시 메모리 부담을 낮춰 초장문 컨텍스트(예: 262K 토큰)를 현실적으로 수용할 수 있게 했으며 특정 레이어에서만 전체 어텐션 캐시를 확장하는 전략으로 메모리-성능 균형을 맞췄다. 결과적으로 동일 하드웨어에서 훨씬 긴 윈도우를 유지할 수 있게 되었다.
• KV 캐시를 근손실 없는 4비트로 양자화하는 옵션을 제공해 컨텍스트 의존 피크 메모리를 약 4배 수준으로 줄일 수 있게 했다. 4비트 KV 캐시를 활성화하면 100K 토큰 피크가 약 14.7GB에서 약 10.1GB로 감소하며 전체 262K 윈도우도 약 12.8GB 수준으로 맞출 수 있다. 이 처리는 긴 문서나 대화 상태를 유지해야 하는 응용에서 실질적 메모리 여유를 제공한다.
• DSpark 드래프터는 6층의 블록 병렬 Transformer로 설계되어 타겟 모델의 여러 레이어에서 숨김 상태를 탭해 조건화된 초안을 생성한다. 생성된 드래프트는 검증 단계로 손실 없이 타겟 분포를 보존하며 CUDA 경로에서 측정상 End-to-end 1.34x 디코드 속도 향상을 제공했다. 드래프터 자체는 4비트로 양자화되어 서비스 비용을 낮추는 동시에 검증 모델로 품질 보전을 유지한다.

차별점

• 온디바이스 27B급 추론을 목표로 삼진 가중치(Q2_0_g128)로 전체 언어 가중치를 재표현해 실제 배포 크기를 약 7.2GB 수준으로 낮춘 점이 차별화 요소이다.
• 하이브리드 어텐션 아키텍처와 4비트 KV 캐시 결합으로 262K 토큰 같은 초장문 윈도우를 실사용 가능한 메모리 예산에서 유지할 수 있게 설계된 점이 구별된다.
• DSpark 추측 기반 디코딩을 함께 제공해 CUDA 경로에서 검증 가능한 드래프터를 통해 출력 품질을 유지하면서 디코드 속도를 실측상 1.34배 개선한 점이 기술적 강점이다.
• 임베딩부터 LM 헤드까지 저비트 커버리지를 확보한 진정한 'end-to-end' 삼진화 구현으로 일부 저비트 빌드가 고정 정밀도 부분을 남기는 관행과 차별화되었다.

벤치마크