unsloth/Qwen3.8-27B-NVFP4
이미지·동영상 이해, 코딩, 전문 업무, 연구 및 장기 에이전트 작업을 지원하는 27B Vision-Language 모델27B262K 컨텍스트apache-2.0
Qwen3.8-27B를 NVFP4 4-bit로 양자화한 장문·멀티모달 에이전트 모델
학습 방식 · Qwen/Qwen3.8-27B를 기반으로 Unsloth Dynamic V3.0 preview NVFP4 4-bit 양자화를 적용한 배포용 모델입니다. 원본 Qwen3.8-27B는 pre-training 및 post-training을 거친 causal language model with vision encoder입니다.
TL;DR
이 모델은 Qwen/Qwen3.8-27B를 기반으로 Unsloth Dynamic V3.0 preview의 NVFP4 4-bit 양자화를 적용한 배포용 Vision-Language 모델입니다. 이미지와 동영상을 이해하고, Thinking mode와 `reasoning_effort`로 추론 깊이를 조절하며, MTP와 Gated DeltaNet·Gated Attention 구조로 긴 다단계 작업을 처리하도록 설계됐습니다. 기본 컨텍스트는 262,144 tokens이고 RoPE scaling을 사용하면 최대 1,000,000 tokens까지 확장할 수 있습니다. Codex 계열 Developer Role과 nested object parsing 개선으로 에이전트 도구 및 tool calling 연동을 겨냥합니다.
핵심 포인트
- Qwen3.8-27B를 기반으로 한 NVFP4 4-bit 양자화 모델입니다. Unsloth Dynamic V3.0 preview를 적용해 배포 메모리 부담을 낮추는 구성을 지향합니다. 원본 모델의 기능을 유지하면서 로컬 추론과 Fine-tuning 진입 장벽을 낮추는 용도입니다.
- Thinking mode가 기본 활성화되고 요청별 비활성화가 가능합니다. `reasoning_effort`로 추론 깊이를 조절하며 `preserve_thinking`으로 이전 메시지의 추론 문맥을 유지합니다. 복잡한 다단계 작업에서 추론 예산을 조절할 수 있습니다.
- Gated DeltaNet과 Gated Attention을 결합한 64-layer 구조를 사용합니다. MTP 학습으로 여러 토큰을 예측하며 기본 컨텍스트는 262,144 tokens이고 RoPE scaling으로 최대 1,000,000 tokens까지 확장할 수 있습니다. 긴 문서와 장기 에이전트 작업을 겨냥한 설계입니다.
- 이미지와 동영상을 native Vision-Language 입력으로 처리합니다. STEM 도식, 문서, 최대 시간 단위 동영상의 시각 정보를 텍스트 추론과 결합합니다. Developer Role과 nested object parsing 개선으로 Codex 계열 도구와 tool calling 연동을 지원합니다.
제한사항
- NVFP4 양자화는 Unsloth Dynamic V3.0 preview 구성입니다. 따라서 README가 보장하는 성능 수치는 양자화 모델 자체의 독립 벤치마크가 아니라 양자화 방식에 대한 설명으로 제한됩니다. 실제 품질과 속도는 사용하는 추론 프레임워크와 하드웨어 설정에 따라 확인해야 합니다.
- 기본 컨텍스트는 262,144 tokens이며 이를 넘는 입력은 RoPE scaling이 필요합니다. README는 초장문 처리를 위해 YaRN 같은 기법을 권장합니다. 1,000,000 tokens 확장은 기본 설정이 아니라 추가 설정을 전제로 합니다.
- 장시간 동영상 처리는 `video_preprocessor_config.json`의 설정 조정이 필요합니다. README는 `longest_edge`를 469,762,048로 설정해 224k video tokens에 해당하는 높은 프레임률 샘플링을 권장합니다. 이 값을 조정하지 않으면 hour-scale video 처리 효율과 성능이 달라질 수 있습니다.
이미지 분석
122
Likes
0
Downloads
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.
