unsloth/inkling-GGUF
Unsloth가 배포한 Inkling GGUF 빌드는 66층 MoE 기반의 멀티모달 디코더로 이미지·오디오·텍스트 입력을 받아 텍스트 응답을 생성하도록 최적화된 양자화된 배포판이다.
학습 방식 · 기반 모델은 ThinkingMachines의 Inkling이며 학습에는 텍스트·이미지·오디오·비디오를 포함한 다중 모달리티 데이터가 사용되었다. 데이터 소스는 공개 소스, 제3자 제공 자료, 그리고 합성 또는 증강 데이터로 혼합되었고 전처리 단계에서 중복 제거와 필터링을 적용해 품질과 안전 기준을 향상시켰다. 문서에는 구체적 옵티마이저·스케줄·미세조정 절차는 명시되어 있지 않다.
TL;DR
Inkling GGUF 빌드는 66층 decoder-only Transformer와 sparse Mixture-of-Experts를 결합하여 총 975B 파라미터 중 41B만 활성화하는 희소성 기반 멀티모달 모델이다. 이미지 입력은 계층적 패치 인코더로, 오디오는 이산 토큰 인코딩으로 변환되어 텍스트와 함께 공통 히든 스페이스에서 처리되며 BF16·NVFP4와 같은 저정밀 수치 및 GGUF 양자화 빌드로 로컬 배포를 지원한다. 공개 가중치와 vLLM/SGLang/Unsloth 연동 레시피로 로컬 실험과 파인튜닝이 용이하며 문서에 보고된 벤치마크는 멀티모달·에이전트·챗 성능 계열에서 경쟁력 있는 결과를 나타낸다. 안전성 평가는 사전 수행되어 잔여 위험과 방어 심층 적용을 권고하고 있으며 고위험 도메인에서는 추가 검증과 인간 감독을 요구한다.
핵심 포인트
- Inkling은 975B라는 거대한 전체 파라미터 수와 토큰당 41B 활성 파라미터를 병행 보고하여 MoE 기반의 희소성 설계로 대규모 용량과 실사용 효율을 동시에 추구한다.
- 이미지·영상은 계층적 패치 인코더로, 오디오는 이산 토큰 인코딩으로 처리하여 멀티모달 입력을 동일한 디코더 히든 스페이스로 일관되게 투영하는 네이티브 멀티모달 설계를 채택하고 있다.
- 공개 가중치와 GGUF 양자화 빌드를 함께 제공하여 연구자와 엔지니어가 로컬 환경에서 저정밀 빌드를 바로 실험·배포할 수 있도록 배포 편의성을 높였다.
- 오픈 가중치 공개는 연구자와 개발자가 모델을 재현·미세조정·통합할 수 있는 실용적 이점을 제공한다. Apache-2.0 라이선스가 적용되어 상업적 활용 가능성이 열려 있고 로컬 배포를 위한 양자화 빌드가 함께 제공되어 실험적 배포 장벽이 낮다. 문서에 제시된 벤치마크는 멀티모달·에이전트·챗 성능 계열에서 경쟁력 있는 수치를 포함하고 있다.
벤치마크
| 벤치마크 | 지표 | 값 | 비교 |
|---|---|---|---|
| AIME 2026 | score | 97.1% | — |
| GPQA Diamond | score | 87.9% | — |
| SWEBench Verified | score | 77.6% | — |
| IFBench | score | 79.8% | — |
| Global-MMLU-Lite | score | 88.7% | — |
이미지 분석
120
LIKES
7.4k
DOWNLOADS
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.
