순수 C로 구현한 Gemma 4 E2B 추론 엔진 gemma4.c

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

gemma4.c는 외부 라이브러리 없이 700줄의 순수 C 코드로 구현된 Gemma 4 E2B 모델용 추론 엔진이다. 행렬 가중치와 입력값에 동적 int8 양자화를 적용하여 CPU 환경에서 최적화된 성능을 제공하며, AMD Ryzen 7 7700 기준 llama.cpp 대비 2배 이상의 Prefill 처리량을 달성했다. Hugging Face Transformers 참조 모델과 비교하여 96.5%의 Top-1 일치율을 보이며, 교육적 목적과 효율적인 로컬 추론을 동시에 충족한다.

섹션별 상세

LLM 추론 과정을 이해하기 위한 교육용 프로젝트로, 외부 라이브러리 없이 700줄의 순수 C 코드로 Gemma 4 E2B 모델의 추론 엔진을 구현했다. 행렬 가중치를 int8로 저장하고 입력값을 동적으로 양자화하여 메모리 효율을 높였으며, AVX2와 OpenMP를 활용해 CPU 환경에서 최적화된 연산을 수행한다.

bash

./run -t 0 -n 256 "Why is the sky blue?"

컴파일된 gemma4.c 실행 파일을 사용하여 모델 추론을 수행하는 명령어

python

python3 exporter.py /path/to/gemma-4-E2B-it-qat-q4_0-unquantized -o ./gemma4-E2B-int8.bin

Hugging Face 체크포인트를 gemma4.c가 읽을 수 있는 이진 형식으로 변환하는 스크립트

AMD Ryzen 7 7700 환경에서 성능을 측정한 결과, Prefill 단계에서 638.86 tok/s, Decode 단계에서 25.90 tok/s를 기록했다. 이는 동일 조건의 llama.cpp(Q8_0) 대비 Prefill 속도가 2배 이상 빠른 수치로, 경량화된 C 구현체의 효율성을 입증한다.

Hugging Face Transformers의 BF16 참조 구현체와 WikiText-103 데이터셋을 사용하여 수치적 정확도를 검증했다. 2,388개 토큰 비교 결과 Top-1 일치율 96.5%, 평균 KL 발산 0.005207을 기록하여, int8 양자화 환경에서도 원본 모델의 출력 분포를 안정적으로 유지한다.

용어 해설

추론(Inference): — 학습된 모델이 새로운 입력 데이터를 받아 결과를 생성하는 과정이다. 본문에서는 C 언어로 구현된 엔진이 Gemma 4 모델의 가중치를 읽어 토큰을 생성하는 전체 경로를 의미한다.
양자화(Quantization): — 모델의 가중치나 활성화 값을 더 낮은 정밀도의 데이터 타입(예: int8)으로 변환하는 기법이다. 메모리 사용량을 줄이고 CPU 연산 속도를 높이는 데 필수적이다.
티처 포싱(Teacher Forcing): — 모델 학습 및 검증 시, 모델이 생성한 출력이 아닌 실제 정답 토큰을 다음 입력으로 사용하는 기법이다. 본문에서는 두 구현체 간의 로짓 일치도를 정확히 비교하기 위해 사용되었다.

기술

Gemma 4
C
llama.cpp
OpenMP
AVX2
Hugging Face Transformers

활용 사례

LLM 추론 엔진 교육
로컬 CPU 기반 모델 실행

언급된 리소스

GitHubgemma4.c GitHub Repository