AICodeKingLLM조회 21회

SuperGemma 4: 로컬 에이전트를 위한 검열 해제된 Gemma 2 26B 활용 가이드

Google의 Gemma 2 26B 모델을 기반으로 커뮤니티에서 파인튜닝한 검열 해제 버전인 SuperGemma 4를 소개하고, Apple Silicon 및 타 플랫폼에서의 로컬 실행 방법을 설명한다.

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

SuperGemma 4는 원본 모델의 강력한 성능을 유지하면서도 검열을 제거하여 코딩, 논리, 도구 사용 등 실전 에이전트 작업에 최적화된 로컬 모델이다.

배경

Google이 출시한 Gemma 2 26B 모델은 강력한 성능을 자랑하지만, 엄격한 안전 가드레일로 인해 특정 에이전트 워크플로우에서 제약이 발생할 수 있다.

대상 독자

로컬 환경에서 고성능 AI 에이전트를 구축하려는 개발자 및 Apple Silicon 사용자

의미 / 영향

SuperGemma 4의 등장은 고성능 LLM을 클라우드 API 없이도 로컬에서 자유롭게 활용할 수 있는 문턱을 낮추었다. 특히 검열이 제거된 강력한 추론 모델을 개인 장비에서 구동함으로써 보안이 중요한 에이전트 자동화 워크플로우 구축이 가속화될 것이다.

챕터별 상세

00:00

SuperGemma 4 모델 소개 및 특징

SuperGemma 4는 Google의 Gemma 2 26B 모델을 기반으로 커뮤니티에서 파인튜닝한 검열 해제 버전이다. 원본 모델이 가진 강력한 에이전트 워크플로우 성능을 유지하면서도 답변 거부 반응을 최소화했다. 특히 250억 개의 파라미터를 보유하고 있으며, 추론 시에는 약 38억 개의 파라미터만 활성화되는 Mixture of Experts(MoE) 설계를 계승했다. 이는 로컬 환경에서 높은 효율성과 성능을 동시에 확보할 수 있게 한다.

Gemma 2 26B는 Google의 오픈 모델 시리즈 중 하나로, 중급 규모에서 뛰어난 벤치마크 성능을 보여준다.

01:30

벤치마크 성능 및 개선 사항

모델 카드에 따르면 SuperGemma 4는 원본 4비트 베이스라인 대비 종합 벤치마크 점수가 91.4에서 95.8로 상승했다. 초당 토큰 생성 속도 역시 42.5에서 46.2로 약 8.7% 향상된 결과를 보였다. 특히 코드 작성, 논리 추론, 한국어 처리, 브라우저 작업 등 실질적인 에이전트 작업 영역에서 유의미한 성능 향상이 확인됐다. 이는 단순한 검열 제거를 넘어 실무 활용도를 높이기 위한 최적화가 이루어졌음을 의미한다.

03:00

Apple Silicon에서 MLX로 실행하기

Apple Silicon 사용자는 MLX 프레임워크를 통해 이 모델을 최적으로 구동할 수 있다. pip를 통해 mlx-lm 라이브러리를 설치한 후, 간단한 명령어로 로컬 OpenAI 호환 서버를 띄울 수 있다. 서버 실행 시 번들로 제공되는 채팅 템플릿을 자동으로 감지하도록 설정하는 것이 응답 오류를 방지하는 핵심이다. 26B 모델의 특성상 최소 24GB 이상의 통합 메모리가 권장되며, 32GB 이상에서 더 쾌적한 실행이 가능하다.

MLX는 Apple 하드웨어의 통합 메모리를 활용해 대규모 모델을 효율적으로 처리하는 전용 라이브러리이다.

bash

pip install -U mlx-lm

mlx_lm.server \
  --model Junsong/supergemma4-26b-uncensored-mlx-4bit-v2 \
  --port 8080

MLX 라이브러리를 설치하고 SuperGemma 4 로컬 서버를 실행하는 명령어

bash

mlx_lm.generate \
  --model Junsong/supergemma4-26b-uncensored-mlx-4bit-v2 \
  --prompt "Write a Python function that returns prime numbers up to n." \
  --max-tokens 512

로컬 서버 구축 전 모델의 정상 작동 여부를 확인하기 위한 테스트 생성 명령어

04:10

Hermes Agent 및 OpenClaw 연동

로컬 서버가 구동되면 Hermes Agent와 같은 터미널 기반 에이전트 도구와 즉시 연동 가능하다. Hermes Agent 설정에서 커스텀 OpenAI 호환 엔드포인트를 로컬 서버 주소로 지정하면 된다. 또한 OpenClaw와 연동하여 개인 비서나 자동화 작업을 수행하는 로컬 추론 모델로 활용할 수 있다. SuperGemma 4는 네이티브 시스템 프롬프트와 함수 호출 기능을 지원하므로 복잡한 에이전트 시나리오에서도 안정적으로 작동한다.

Hermes Agent는 터미널 환경에서 도구 사용과 메모리 기능을 제공하는 오픈소스 AI 에이전트 프레임워크이다.

05:35

타 플랫폼을 위한 GGUF 버전 활용

Windows나 Linux 사용자, 또는 LM Studio와 같은 도구를 선호하는 사용자를 위해 GGUF v2 버전도 제공된다. 약 16.8GB 크기의 Q4_K_M 양자화 버전이 Hugging Face에 공개되어 있어 llama.cpp 기반의 생태계에서 폭넓게 사용 가능하다. GGUF 버전은 중립적인 임베디드 템플릿을 사용하여 일반적인 대화가 코딩 모드로 잘못 전환되는 버그를 수정했다. 이를 통해 Mac 이외의 환경에서도 SuperGemma 4의 강력한 성능을 경험할 수 있다.

양자화(Quantization)는 모델의 가중치 정밀도를 낮추어 메모리 사용량을 줄이고 실행 속도를 높이는 기술이다.

용어 해설

Uncensored Model: — AI 모델의 학습 과정에서 적용된 안전 가드레일이나 거부 반응을 제거하거나 완화한 모델이다. 특정 주제에 대한 답변 거부를 줄여 창의적인 작업이나 복잡한 지시 이행에 더 유연하게 대응할 수 있게 한다. 로컬 환경에서 자유로운 에이전트 워크플로우를 구축하려는 사용자들에게 중요하다.
MLX: — Apple Silicon 하드웨어에서 머신러닝 연구를 위해 설계된 효율적인 프레임워크이다. 통합 메모리 아키텍처를 활용하여 GPU와 CPU 간의 데이터 전송 오버헤드를 최소화하고 추론 속도를 극대화한다. Mac 사용자들에게 최적화된 로컬 모델 실행 환경을 제공하는 핵심 도구이다.
GGUF: — llama.cpp와 같은 로컬 추론 엔진에서 널리 사용되는 바이너리 파일 형식이다. 모델 가중치와 메타데이터를 하나의 파일에 효율적으로 저장하며, 다양한 하드웨어 환경에서 양자화된 모델을 실행할 수 있게 지원한다. 플랫폼에 구애받지 않고 로컬 AI를 구동하기 위한 표준적인 포맷이다.
Unified Memory: — CPU와 GPU가 동일한 메모리 풀을 공유하여 데이터를 복사할 필요 없이 직접 접근하는 Apple Silicon의 아키텍처이다. 대규모 언어 모델(LLM) 구동 시 VRAM 부족 문제를 완화하고 고속 데이터 처리를 가능하게 한다. 26B 규모의 모델을 로컬에서 원활하게 실행하기 위한 필수적인 하드웨어 특성이다.

언급된 리소스

GitHubSuperGemma 4 MLX 4-bit v2 (Hugging Face)

GitHubSuperGemma 4 GGUF v2 (Hugging Face)

GitHubHermes Agent

AI 분석 전체 내용 보기

AI 요약 · 북마크 · 개인 피드 설정 — 무료

출처 · 인용 안내

원문 발행 2026. 04. 16.수집 2026. 04. 16.출처 타입 YOUTUBE

인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.