google/gemma-4-31B-it
이미지·텍스트를 다루며 256K 컨텍스트와 사고 모드를 갖춘 구글의 31B 오픈 가중치 모델.
학습 방식 · Dense 트랜스포머에 로컬 슬라이딩 윈도우(1024토큰)와 전역 어텐션을 섞은 하이브리드 구조를 적용했고, 전역 레이어에는 통합 Key/Value와 Proportional RoPE(p-RoPE)를 써 장문 컨텍스트에서의 메모리 효율을 높였다. Instruction-tuning으로 thinking 모드와 함수 호출 능력을 갖췄다.
TL;DR
Gemma 4 31B는 구글 딥마인드가 공개한 Dense 아키텍처 오픈 가중치 모델로, 로컬 슬라이딩 윈도우 어텐션과 전역 어텐션을 섞은 하이브리드 구조로 최대 256K 토큰 컨텍스트를 지원하고 140개 이상 언어를 학습했다. 단계별로 생각하는 thinking 모드와 네이티브 함수 호출을 지원해 에이전트 워크플로에 바로 쓸 수 있으며, MMLU Pro 85.2%, AIME 2026(도구 없이) 89.2%, LiveCodeBench v6 80.0%, Codeforces ELO 2150을 기록해 이전 세대 Gemma 3 27B(각각 67.6%, 20.8%, 29.1%, ELO 110)를 크게 앞섰다. 비전에서도 MMMU Pro 76.9%, OmniDocBench 1.5 평균 편집거리 0.131로 문서·이미지 이해에서 강세를 보였고, MRCR v2 8-needle 128k 평균 66.4%로 장문 컨텍스트 유지력도 뚜렷하게 개선됐다. 5개 크기(E2B/E4B/12B/26B A4B/31B) 중 가장 큰 Dense 모델로, 고성능 추론·코딩·문서 이해가 필요한 서버·워크스테이션급 배포에 맞춰져 있다.
핵심 포인트
- MMLU Pro 85.2%, AIME 2026 89.2%, Codeforces ELO 2150으로 Gemma 3 27B를 크게 앞섰다.
- 로컬 슬라이딩 윈도우와 전역 어텐션을 섞은 하이브리드 구조로 256K 토큰 컨텍스트를 지원한다.
- 네이티브 시스템 롤과 함수 호출을 갖춰 thinking 모드를 켜고 끄며 에이전트 도구 사용을 지원한다.
- OmniDocBench 1.5 편집거리 0.131, MMMU Pro 76.9%로 문서·이미지 이해도 크게 개선됐다.
제한사항
- 31B 모델은 E2B/E4B/12B와 달리 오디오 입력을 지원하지 않아 이미지·텍스트 멀티모달에만 쓸 수 있다.
- 학습 데이터의 편향·공백이 응답에 반영될 수 있고, 지식 베이스가 아니므로 사실이 아니거나 오래된 정보를 생성할 수 있다.
벤치마크
| 벤치마크 | 지표 | 값 | 비교 |
|---|---|---|---|
| MMLU Pro | accuracy | 85.2% | Gemma 3 27B(no think) 67.6% |
| AIME 2026 (no tools) | accuracy | 89.2% | Gemma 3 27B(no think) 20.8% |
| LiveCodeBench v6 | accuracy | 80.0% | Gemma 3 27B(no think) 29.1% |
| Codeforces | ELO | 2150 | Gemma 3 27B(no think) 110 |
| OmniDocBench 1.5 | average edit distance (낮을수록 좋음) | 0.131 | Gemma 3 27B(no think) 0.365 |
| MRCR v2 8-needle 128k | average accuracy | 66.4% | Gemma 3 27B(no think) 13.5% |
3.4k
LIKES
12.4M
DOWNLOADS
26 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.
