TL;DR

이 모델은 Qwen/Qwen3.8-27B를 기반으로 한 3.69 bpw 저비트 GGUF 양자화 모델이며, 주 파일 크기는 11.73 GiB입니다. Gated-DeltaNet 상태 경로를 Q8_0으로 유지하고 믹서는 Q4_K로 처리해 구조에 민감한 경로에 더 많은 비트를 배분했으며, native MTP draft head도 제거하지 않았습니다. Wiki-style PPL은 동일 체크포인트의 BF16 변환본 7.15 ± 0.12 대비 7.82 ± 0.14로 측정됐고, 이미지 입력에는 별도 BF16 mmproj가 필요합니다. 짧은 컨텍스트에서는 16~24 GB GPU를 시작점으로 삼을 수 있지만, 262,144 토큰 native context와 YaRN 확장에서는 KV cache가 주요 메모리 비용입니다.

핵심 포인트

• Gated-DeltaNet 상태 경로를 Q8_0으로 보존해 저비트 양자화의 민감한 부분을 보호합니다. 믹서는 Q4_K를 사용하고 중간층 FFN에서 비트를 절약합니다. 단순한 2비트 양자화 파일과 구성이 다릅니다.
• 공식 Qwen/Qwen3.8-27B 체크포인트를 3.69 bpw로 압축했습니다. 주 모델 파일은 11.73 GiB이며 텍스트 입력을 처리합니다. 이미지 입력에는 별도의 0.87 GiB BF16 mmproj 파일이 필요합니다.
• native MTP draft head인 blk.64와 nextn을 GGUF에 그대로 포함했습니다. 최근 llama.cpp에서 draft-mtp를 활성화하면 초안 기반 Speculative Decoding을 사용할 수 있습니다. 지원하지 않는 런타임에서는 일반 27B 모델로 동작합니다.
• 짧은 테스트에서 RTX PRO 6000 Blackwell 96 GB 기준 생성 약 54 tok/s와 프롬프트 약 130 tok/s를 기록했습니다. 이는 단일 GPU에서 측정한 한 번의 결과입니다. 16~24 GB GPU에서는 짧은 컨텍스트 기준으로 실용적인 구성이지만 긴 컨텍스트에서는 KV cache가 메모리를 크게 차지합니다.

제한사항

벤치마크