TL;DR

이 모델은 Qwen3.6-27B를 기반으로 모델 전체 가중치를 테너리 g128로 재표현해 배포 크기를 약 7.2GB로 줄이면서도 262K 토큰의 장기 컨텍스트를 실현한 저비트 LLM이다. 테너리 표현은 그룹별 FP16 스케일을 활용해 가중치를 {−1,0,+1}으로 압축하고 CUDA·Apple MLX용 저비트 커널로 패킹된 슬롯을 직접 소비하도록 설계되어 메모리 대역폭 중심의 실행에서 효율을 끌어올린다. DSpark speculative-decoding 드래프터와 4-bit KV 캐시 양자화를 결합해 CUDA 경로에서는 디코드 속도 1.34x 개선과 피크 메모리 절감을 관측했으며, 15개 thinking-mode 평균에서 FP16 대비 94.6%의 성능을 유지했다. 네이티브 테너리 커널 도입 전까지는 배포 크기가 이론적 한계보다 다소 높고, 폰급 메모리 예산에는 맞지 않는다는 한계가 존재한다.

핵심 역량

• 긴 컨텍스트(최대 262K 토큰)를 유지하면서 수리 문제와 복잡한 추론을 수행할 수 있다.
• 코드 생성 및 일부 멀티스텝 에이전트 워크플로를 소형 하드웨어에서 처리할 수 있으며, 도구 호출 기반 작업에서 안정적인 출력을 제공한다.
• 온디바이스와 단일 GPU 환경에서 27B 급의 추론을 가능하게 하여 프라이버시 민감한 시나리오와 오프라인 사용을 지원한다.
• CUDA 및 Apple MLX용 최적화된 저비트 커널과 DSpark 드래프터를 통해 서버와 클라이언트 환경의 처리량을 개선한다.

강점

• 배포 크기가 약 7.2GB로 표준 노트북이나 단일 GPU에서 27B 급 추론이 가능하다는 점에서 실용적 이점을 제공한다.
• 15개 thinking-mode 벤치마크 평균 80.49점을 기록해 FP16 대비 평균 94.6%의 성능을 유지하면서도 동급의 기존 2-bit 빌드보다 높은 품질을 보고했다.
• 하이브리드 어텐션과 4-bit KV 캐시를 결합하여 매우 긴 컨텍스트(최대 262K)를 현실적으로 운영할 수 있는 메모리 프로필을 달성했다.

훈련 방식

기본적으로 Qwen3.6-27B를 기반으로 하며 모델 전체를 테너리 g128 표현으로 재표현하고 그룹별 FP16 스케일을 적용해 저비트로 재포장한 방식으로 제작되었으며, 실사용 벤치마크와 DSpark 드래프터 학습을 통해 디코드 경로 성능을 보정했다.

알아두면 좋은 것

• 모델 전체 가중치를 테너리 g128로 표현해 이론적 정보량 약 1.71 bits/weight를 달성하고 이상적 크기 5.9GB, 배포 크기 약 7.2GB를 보고했다.
• 하이브리드 어텐션(약 75% 선형 어텐션)과 4-bit KV 캐시 양자화를 결합해 262K 토큰 컨텍스트를 현실적으로 지원하며 100K 컨텍스트에서도 14.7–15.5GB의 피크 메모리를 보였다.
• CUDA와 Apple MLX용 커널이 패킹된 2-bit 슬롯을 직접 소비하도록 설계되어 가중치 확장을 FP16으로 되돌리지 않고도 연산을 수행한다.
• DSpark speculative-decoding 드래프터는 CUDA 경로에서 lossless 검증으로 end-to-end 디코드 속도를 1.34x 개선한 것으로 보고되었고, 드래프터는 기본적으로 4-bit Q4_1 포맷으로 제공된다.

기술적 특징

• 테너리 g128 표현은 각 가중치를 {−1,0,+1}로 제한하고 128개 가중치 그룹마다 하나의 FP16 스케일을 공유함으로써 정보 이론적 비트폭 약 1.71 bits/weight를 달성했으며, 이로써 FP16 대비 이론적 저장량을 약 9.4배 절감했다. 그룹화 스케일은 매트릭스 곱셈에서 적용되도록 설계되어 가중치를 고정밀로 복원하지 않고도 곧바로 저비트 곱셈에 투입할 수 있다. 현재 커널 구현은 2-bit 슬롯 저장을 사용해 배포 크기는 7.2GB 수준에 머물고, 네이티브 테너리 커널이 도입되면 추가 이점이 기대된다.
• 하이브리드 어텐션 백본은 전체 레이어 중 약 75%를 선형 어텐션으로 두어 긴 컨텍스트에서 KV 캐시 성장을 억제하고 나머지 레이어에서 완전 어텐션을 통해 중요 상호작용을 보존한다. 이 설계는 262K 토큰 컨텍스트를 유지하면서도 메모리 요구량을 현실적으로 관리하도록 만들었다. KV 캐시는 근손실 없는 4-bit 양자화를 적용해 컨텍스트 의존 피크를 크게 줄였다.
• 플랫폼별 최적화 커널이 CUDA와 Apple MLX로 제공되며, 패킹된 저비트 슬롯을 해제하지 않고도 연산을 수행하도록 설계되어 메모리 대역폭 국한 상황에서 효율을 극대화했다. MLX 포장에서는 스케일·바이어스를 그룹당 추가 저장하는 포맷 제약을 해결할 방법을 마련해 향후 효율 개선 여지가 남아 있다. 이러한 커널 설계는 노트북과 단일 GPU에서의 상호작용적 처리량을 현실화하는 핵심 요소다.
• DSpark speculative-decoding 드래프터는 6개 레이어의 블록 병렬 구조로 드래프팅을 수행하고 검증 단계로 원본 분포를 보존하므로 출력 품질은 변화시키지 않으면서 디코드 속도를 개선한다. CUDA 경로에서 측정된 바에 따르면 특정 드래프트-검증 조합에서 end-to-end로 1.34x 속도 향상이 관측되었다. 드래프터는 가볍게 양자화된 형태로 제공되어 서빙 경로의 메모리·대역폭 부담을 낮춘다.
• 비전 타워는 선택적 mmproj HQQ 4-bit 포맷으로 따로 번들되어 텍스트 전용 서빙 시 메모리 비용을 피하도록 설계되었고, 이미지 입력이 있을 때만 로드된다. 이 방식은 멀티모달 기능을 유지하면서 텍스트 워크로드의 자원 효율을 저해하지 않는다. 비전 모듈은 옵션 컴포넌트로 약 0.63GB의 추가 공간을 필요로 한다.

차별점

• 모델 전체의 임베딩·어텐션·MLP·LM 헤드까지 일관되게 테너리로 표현한 점이 다른 저비트 빌드와 구분된다.
• 하이브리드 어텐션과 4-bit KV 캐시 양자화를 결합해 262K 토큰이라는 매우 긴 컨텍스트를 실용적으로 유지할 수 있도록 설계되었다.
• DSpark 드래프터를 기본 패키지로 제공해 서빙 경로에서 검증 기반의 lossless speculative decoding으로 디코드 속도를 개선했다.

벤치마크