google/diffusiongemma-26B-A4B-it
Gemma 4 26B A4B MoE 기반에서 256토큰 블록 이산 디퓨전을 사용해 이미지·텍스트·비디오 입력을 받아 저지연으로 텍스트를 생성하는 멀티모달 모델이다.
학습 방식 · Gemma 4 26B A4B MoE 기반에서 이산 텍스트 디퓨전(블록-자율회귀) 방식을 적용했으며, 웹문서·코드·수학·이미지 등 멀티모달 대규모 데이터(컷오프 2025년 1월)를 활용해 사전학습했다.
TL;DR
DiffusionGemma는 Google DeepMind가 Gemma 4 26B A4B MoE 아키텍처를 바탕으로 공개한 멀티모달 텍스트 생성 모델이다. 이 모델은 토큰 단위의 순차적 생성 대신 256토큰 길이의 '캔버스'를 병렬로 덴오이징하는 이산 텍스트 디퓨전 방식을 채택해 디코딩 병렬성을 획득하고, 인코더의 prefill로 생성된 KV 캐시를 디코더가 cross-attention으로 참조하는 블록-자율회귀 흐름을 따른다. MoE 희소성(128개 중 8개 활성)과 캔버스 기반 샘플링을 결합해 활성 파라미터를 3.8B 수준으로 유지하면서 총 파라미터는 25.2B에 달하고, 최대 256K 토큰의 장문 컨텍스트와 가변 시각 토큰 예산(70~1120)을 지원한다. 문서에는 H100 FP8 환경의 저배치 설정에서 초당 1100 tokens 이상의 생성 성능과 Entropy-Bounded Denoising(최대 48 스텝, 온도 0.8→0.4, 엔트로피 임계치 등) 권장 샘플링 설정이 명시되어 있으나, 공개 벤치마크에서는 일부 언어·비전 벤치에서 Gemma 4 대비 낮은 점수가 보고되어 성능·품질 트레이드오프가 존재함이 확인된다.
핵심 포인트
- 블록-자율회귀의 이산 텍스트 디퓨전(캔버스 샘플링)으로 캔버스 단위 병렬 덴오이징을 수행해 토큰/초 처리량을 높인 점
- 희소 MoE(128개 중 8개 활성)로 활성 파라미터를 줄여 단일 가속기에서의 저메모리 추론을 염두에 둔 설계
- 인코더의 prefill KV 캐시 + 디코더의 캔버스 내 bidirectional attention 조합으로 긴 컨텍스트와 블록 생성 간 효율적 상호작용을 구현
- 가변 시각 토큰 예산(70~1120)으로 작업별 시각 해상도와 연산량을 명시적으로 조정할 수 있음
벤치마크
| 벤치마크 | 지표 | 값 | 비교 |
|---|---|---|---|
| MMLU Pro | accuracy | 77.6% | vs Gemma 4: 82.6% |
| AIME 2026 no tools | accuracy | 69.1% | vs Gemma 4: 88.3% |
| LiveCodeBench v6 | accuracy | 69.1% | vs Gemma 4: 77.1% |
| Codeforces ELO | ELO | 1429 | vs Gemma 4: 1718 |
| GPQA Diamond | accuracy | 73.2% | vs Gemma 4: 82.3% |
| Tau2 (average over 3) | accuracy | 56.2% | vs Gemma 4: 68.2% |
| HLE no tools | score | 11.0% | vs Gemma 4: 8.7% |
| HLE with search | score | 11.9% | vs Gemma 4: 17.2% |
| BigBench Extra Hard | accuracy | 47.6% | vs Gemma 4: 64.8% |
| MMMLU | accuracy | 81.5% | vs Gemma 4: 86.3% |
| MMMU Pro (Vision) | accuracy | 54.3% | vs Gemma 4: 73.8% |
| OmniDocBench 1.5 (average edit distance, lower is better) | avg edit distance | 0.319 | vs Gemma 4: 0.149 |
| MATH-Vision | accuracy | 70.5% | vs Gemma 4: 82.4% |
| MedXPertQA MM | accuracy | 49.0% | vs Gemma 4: 58.1% |
| MRCR v2 8 needle 128k (Long Context) | average | 32.0% | vs Gemma 4: 44.1% |
1.1k
LIKES
1.2M
DOWNLOADS
4 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.
