Gemma 4 기술 보고서: 멀티모달·장문 맥락·효율성 강화를 위한 Dense 및 MoE 모델군

왜 중요한가

Gemma 4는 텍스트·이미지·오디오를 네이티브로 처리하면서 긴 문맥과 디바이스 환경에서의 메모리·추론 비용 문제를 동시에 낮춘 점에서 의미가 크다. 구체적으로 p p -RoPE와 KV 캐시 공유로 글로벌 KV 메모리를 최대 37.5% 줄였고 양자화 인식 학습으로 모델과 인코더의 디스크·메모리 요구를 크게 낮추었다. 이러한 설계는 대규모 모델 성능을 유지하면서 엣지·온디바이스 배포 가능성을 높였다는 점에서 연구·실무 양쪽에서 활용 가치가 있다.

핵심 기여

Thinking mode 도입으로 추론 전성분(reasoning trace) 생성

모델이 응답 전에 추론 흔적을 출력하는 thinking mode를 도입하여 수학·코딩 등 추론 집약적 과제에서 성능을 높였다. thinking mode는 포스트트레이닝 단계에서 활성화 제어 토큰을 통해 작동하며 인간 평가와 자동 벤치마크에서 우수한 결과를 보였다. 이 기능은 복합 추론 과정의 가시성과 디버깅을 높이는 목적도 겸했다.

장문 효율화를 위한 p p -RoPE와 KV 캐시 재사용·공유

글로벌 레이어에 p p -RoPE(p=0.25)를 적용하고 로컬·글로벌 레이어에 서로 다른 RoPE 주파수를 설정하여 위치 인코딩을 조절했다. 글로벌 레이어에서 keys를 values로 재사용하고 KV 캐시 공유 비율을 적용해 글로벌 KV 캐시 풋프린트를 최대 37.5%까지 줄였다. 이러한 조합으로 32k·128k 등 긴 문맥에서 메모리 사용량과 처리 가능 길이가 개선되었다.

추정적 디코딩을 위한 MTP(Multi-Token Prediction) 드래프터 설계

별도 소형 MTP 드래프터 헤드를 학습시켜 메인 모델의 마지막 층 활성화와 KV를 참조해 미래 토큰을 다중 토큰으로 순차 생성하도록 했다. 드래프터는 메인 모델의 KV에 크로스어텐션하는 4층 Transformer로 구성되며, E2B/E4B에서는 디코딩 비용을 줄이기 위해 vocabulary 투영을 클러스터 기반 top-k 연산으로 대체했다. 이 구조로 디코딩 행렬곱 비용을 d×262,000에서 d×4,096 수준으로 축소하면서 수용률을 유지했다.

12B 모델 대상의 통합 인코더-프리 설계

12B 모델에서는 전통적 비전·오디오 인코더를 폐지하고 원시 이미지 패치(48×48×3)와 40ms 오디오 청크(640-dim)를 직접 임베딩 공간으로 사영하는 경량 프로젝션을 도입했다. 공간 인지는 2D 좌표 기반 포지셔널 임베딩과 LayerNorm으로 보존하고 오디오는 시간적 특성 때문에 별도 위치 인코딩을 생략했다. 이 설계는 비전·오디오 인코더 파라미터와 메모리 단편화를 줄이며 단일 모델로 멀티모달 입력을 수용하게 했다.

양자화 인식 학습과 경량 인코더를 통한 메모리·지연 절감

모델과 인코더에 대해 모바일 양자화(int2/int4 + int8)와 Q4_0 블록 양자화를 적용하고 QAT를 수행해 정밀도 저하를 보정했다. 150M 이미지 인코더에서 W8A8 양자화는 전방 패스 메모리를 400MB에서 200MB로 2배 축소하고 지연을 44% 줄였다. 오디오 인코더는 레이어 클러스터별로 가중치 비트를 {2,4,8}으로 달리 적용해 온디스크 풋프린트를 390MB에서 87MB로 78% 줄였다.

핵심 아이디어 이해하기

대규모 Transformer 기반 모델은 긴 문맥을 처리할 때 KV 캐시와 위치 인코딩으로 인한 메모리 폭발과 연산 비용이 병목이 된다. 이 보고서는 로컬-글로벌 주의 비율을 조정하고 글로벌 레이어의 위치 인코딩 스케일을 변경하며 KV 캐시를 공유·재사용하는 방식으로 긴 문맥의 메모리 필요량을 체계적으로 줄였다. 이러한 설계는 입력 길이가 길어져도 글로벌 KV의 중복 저장과 고주파 위치 인코딩으로 인한 메모리 증대를 억제하는 데 초점을 맞춘 것이다.

방법론

모델 계열은 dense 아키텍처(2.3B, 4.5B, 12B, 31B)와 Mixture-of-Experts(MoE) 변형(총 26B, 활성화 3.8B)을 포함하며 모든 모델은 디코더 전용 Transformer 기반으로 구성되었다. 전/후 정규화로 RMSNorm과 QKNorm을 사용하고 로컬-글로벌 주의 블록을 층별로 배치해 로컬 슬라이딩 윈도우와 글로벌 셀프어텐션의 비율을 E2B에는 4:1, 다른 모델에는 5:1로 설정하였다. 글로벌 레이어에서는 keys를 values로 재사용하는 기법을 적용해 KV 저장량을 줄였고, 로컬과 글로벌 레이어에 서로 다른 RoPE 주파수를 적용해 위치 인코딩 부담을 낮추었다.

주요 결과

인간 평가(Arena)에서 Gemma 4 31B는 오픈형 dense 카테고리 상위권을 차지했으며 Elo 점수는 1451 ± 8로 표에 보고되었다. MMLU Pro 성능은 31B가 85.2, 26B-A4B가 82.6, 12B가 77.2 등으로 표에 제시되었고 멀티모달 및 장문 벤치마크 전반에서 Gemma 3 대비 눈에 띄는 향상이 보고되었다. 오디오와 이미지 효율성 측면에서 이미지 인코더의 W8A8 양자화는 전방 메모리를 2배 절감하고 지연을 44% 줄였으며 오디오 인코더 온디스크 풋프린트는 양자화로 390MB에서 87MB로 78% 감소했다. 장문 처리 지표에서 RULER 32k 기준으로 31B는 96.8, 26B-A4B는 97.3의 정확도를 기록했고 논문은 글로벌 KV 캐시 풋프린트가 최대 37.5% 감소했다고 보고했다.

기술 상세

전체 아키텍처는 decoder-only Transformer이며 모든 모델은 pre-norm 및 post-norm 구조를 사용하고 RMSNorm과 QKNorm을 적용했다. E2B와 E4B는 per-layer embedding을 사용하여 effective parameter 수를 낮춘 설계를 채택했고 26B-A4B는 MoE로서 활성화 파라미터 3.8B, 총 파라미터 26B로 정의되었다. 12B 모델은 통합 인코더-프리 설계를 택해 이미지 패치와 오디오 청크를 직접 임베딩 공간으로 선형 투영하고 2D 좌표 기반 포지셔널 임베딩과 LayerNorm으로 공간 정보를 보존했다.

실무 활용

Gemma 4는 엣지 및 서버 환경에서 멀티모달 애플리케이션을 운영할 수 있도록 메모리·추론 효율을 고려한 설계와 공개 라이선스 배포를 결합했다. 인코더-프리 옵션과 양자화 체크포인트는 온디바이스 배포에서 모델 풋프린트와 지연을 낮춰 실무 적용 가능성을 높였다. thinking mode는 복합 추론 작업에서 결과의 해석성과 디버깅을 지원하는 부가적 이점을 제공한다.

긴 문서나 책 단위 문맥을 요구하는 문서 요약·검색 시스템에서 장문 컨텍스트를 직접 처리하는 백엔드 모델로 사용 가능하다.
멀티모달 QA, 이미지·오디오 기반의 대화형 애플리케이션에서 통합된 모델로 이미지·오디오 인코더 유지보수 비용을 줄인 채 배포할 수 있다.
온디바이스 음성 인식·번역 서비스에서 양자화된 오디오 인코더와 경량화된 비전 파이프라인을 활용해 저장 공간과 지연을 절감할 수 있다.
코딩·수학 문제 풀이와 같이 추론 궤적(trace)이 중요할 때 thinking mode로 중간 추론을 생성하여 출력의 투명성과 디버깅 효율을 높일 수 있다.

코드 공개 여부: 공개

키워드

Mixture-of-Experts(MoE)MTP Drafter(Multi-Token Prediction)p p -RoPE(위치 인코딩)Quantization-Aware Training(양자화 인식 학습)Encoder-Free(인코더-프리 아키텍처)Long-Context(장문 처리)

용어 해설

KV 캐시(KV Cache): — Transformer 추론에서 키(key)와 값(value)을 토큰별로 저장하여 미래 토큰 생성 시 재사용하는 메모리 레이어로, 긴 컨텍스트에서 메모리와 대역폭을 크게 차지하므로 공유·재사용·압축 기법으로 최적화가 중요하다.
p p -RoPE: — RoPE 계열의 위치 인코딩 변형으로서, 글로벌 레이어에 다른 주파수 스케일(p)을 적용해 위치 표현을 조정하고 글로벌 KV 캐시 크기를 줄이는 방식으로 긴 문맥 처리 효율을 개선하는 기법이다.
양자화 인식 학습(Quantization-Aware Training): — 모델 파라미터와 활성화를 저비트 표현으로 변환할 때 발생하는 품질 저하를 학습 단계에서 모사하여 보정하는 방법으로, 추론 시 메모리·지연 감소를 유지하면서 성능 손실을 최소화한다.
추정적 디코딩(Speculative Decoding): — 작은 드래프터가 미래 토큰을 빠르게 예측하고 메인 모델의 정식 디코딩을 병렬로 진행하여 전체 디코딩 지연을 줄이는 전략으로, 드래프터의 수용률과 집단 확률 조정이 성능·효율에 직접 영향을 준다.
인코더-프리 구조(Encoder-Free): — 전통적 별도 비전·오디오 인코더를 사용하지 않고 원시 패치나 오디오 청크를 바로 LLM 임베딩 공간으로 사영하는 설계로, 인코더 파라미터를 줄이고 메모리 단편화를 완화하는 데 목적이 있다.

Gemma 4 기술 보고서: 멀티모달·장문 맥락·효율성 강화를 위한 Dense 및 MoE 모델군

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

관련 토론

댓글

관련 피드