TL;DR

이 모델은 google/gemma-4-12B-it을 기반으로 한 full-precision safetensors 마스터로 coding과 agentic 도구 사용에 초점을 맞춘 파인튜닝 버전이다. 핵심 변경점은 multi-step agentic 궤적(read→reason→act→verify)과 distilled Chain-of-Thought 기반의 gated CoT를 도입해 터미널·툴 사용 워크플로우에서 행동의 연속성과 근거 기반 판단을 강화한 점이며, 동일 조건의 tau2-bench telecom에서 약 55%의 성공률을 기록해 base의 약 15%보다 크게 향상되었다. 배포 측면에서는 safetensors 마스터와 다수의 GGUF 양자화 빌드를 함께 제공해 로컬 환경별 최적화가 가능하며 MTP speculative decoding 드래프트를 통해 특정 llama.cpp 빌드에서 생성 속도 개선을 확인했다. 반면 학습 초점의 편향으로 MMLU-Pro와 같은 일반 상식형 벤치마크에서는 base보다 소폭 낮은 결과가 보고되어 범용성·전문성 사이의 트레이드오프가 존재한다.

핵심 역량

• 이 모델은 코드 작성과 테스트 기반 검증 루프를 수행하여 주어진 유닛 테스트를 통과시키는 출력물을 생성할 수 있다. 터미널 명령어 출력 읽기(grep/read/ls)와 같은 I/O 기반 증거를 먼저 참조한 뒤 행동을 결정하는 행동 패턴을 보인다. 도구 호출을 네이티브 Gemma 4 프로토콜로 출력하고 그 결과를 바탕으로 후속 검증 단계까지 자동으로 이어갈 수 있다.
• 이 모델은 multi-step agentic 작업에서 진단(diagnose)→수정(fix)→검증(verify)으로 이루어진 루프를 수행할 수 있으며, 그 과정에서 내부적인 Chain-of-Thought를 사용해 중간 결정을 형성한다. thinking 모드를 활성화하면 모델이 내부 추론 채널을 통해 복수 단계의 의사결정을 거친 뒤 최종 액션을 출력한다. 이러한 흐름은 도구 사용 시 오답 생성률을 낮추고 행동의 근거를 확보하는 데 도움을 준다.
• 이 모델은 safetensors 마스터를 제공하므로 빌더가 원본 정밀도에서 직접 양자화(GGUF, AWQ, GPTQ 등)나 추가 Fine-tuning을 진행할 수 있다. README에는 Q3_K_M부터 Q8_0까지 다양한 GGUF 양자화 빌드와 각 빌드의 파일 크기가 명시되어 있어 로컬 환경에 맞춘 배포가 가능하다. 또한 모델은 transformers의 gemma4_unified 호환 빌드에서 실행될 수 있고 device_map을 통한 자동 배치가 지원된다.

강점

• v2는 agentic 도구 사용과 터미널 기반 작업에서 동일 조건 대비 약 3.5배(기준: tau2-bench telecom, Q8_0, 로컬 하니스)에 이르는 성능 향상을 보였다. 이 수치는 README의 동일 하니스 비교 테이블에서 v2=55% 대 base≈15%로 제시된 값을 근거로 한다. 따라서 실전적 도구 연동 시 행동 일관성과 문제 해결 능력 측면에서 실용적 우위를 제공한다.
• 배포 관점에서 full-precision safetensors 마스터와 함께 다양한 GGUF 양자화 빌드가 공개되어 있어 로컬 환경의 VRAM 제약에 맞춰 유연하게 배치할 수 있다. README에는 Q3_K_M(5.7GB)부터 Q8_0(11.8GB)까지 크기별 권장용도가 명시되어 실무 적용 시 선택권을 넓힌다. 또한 Apache-2.0 라이선스가 적용되어 상업적 활용과 재배포에 법적 제약이 비교적 적다.

훈련 방식

v2는 google/gemma-4-12B-it을 기반으로 Composer 2.5와 Fable 5 자가작성 데이터, 그리고 커스텀 코딩·agentic 궤적을 이어붙이는 방식으로 추가 파인튜닝을 진행한 모델이다. 모든 추론 데이터는 distilled CoT 형태로 처리되었고 코딩 태스크의 경우 테스트 통과를 조건으로 한 gated CoT가 적용되었다. Fable 5 원자료 일부가 없을 때는 Opus 4.8(xhigh)로 reasoning traces를 재구성해 보완했다.

알아두면 좋은 것

• 원본은 full-precision bfloat16 safetensors 마스터로 배포되어 빌더가 직접 맞춤형 양자화와 추가 파인튜닝을 수행할 수 있도록 설계되어 있다. 해당 마스터는 GGUF 양자화 빌드의 소스로 활용되며, README에는 Q3_K_M, Q4_K_M, Q6_K, Q8_0 등 권장 양자화 옵션과 각각의 용량이 명확히 표기되어 있다. 작동 테스트와 호환성 정보를 함께 제공하여 로컬 배포 시 필요한 실무 정보를 포함하고 있다.
• v2는 agentic 역량을 크게 강화한 버전으로 tau2-bench telecom에서 동일 조건의 상대 평가에서 약 55% 점수를 기록했으며 base 모델 대비 약 3.5배 향상이 보고되었다. 벤치마크는 모두 로컬 동일 하니스, Q8_0 양자화, greedy decoding, 자체 시뮬레이터를 사용해 상대 비교를 수행한 결과라는 점이 명시되어 있다. 이러한 수치는 '동일 조건 대비' 성능 향상을 보여주는 근거로 제시되었다.
• MTP(Multi-Token Prediction) speculative decoding 드래프트가 제공되어 특정 llama.cpp 빌드(b9553)에서 generation 속도와 효율을 개선할 수 있음이 보고되었다. README에는 b9553에서의 재현성 및 속도 향상(예: ~88 → ~180 tok/s) 수치가 포함되어 있으며 최신 빌드에서의 로더 회귀 문제가 주의사항으로 명시되어 있다. 이 정보는 로컬에서 MTP 기반 가속을 시도하려는 운영자에게 실무적 가이드가 된다.
• 학습 데이터와 방식 측면에서 v2는 Fable-5 관련 자가작성 기록을 사용하고, 일부 결손 데이터는 Opus 4.8(xhigh)을 통해 재구성한 뒤 distilled CoT와 gated CoT(테스트 통과 조건)를 적용하여 코딩·agentic 능력을 강화했다. 이 과정은 agentic 행동의 다단계 연속성(read→reason→act→verify)을 목표로 했고 그 결과가 실 사용 agentic 벤치마크에서 반영되었다. 다만 general-knowledge 벤치마크(MMLU-Pro)에서는 base보다 소폭 낮은 결과가 발생해 범용성·전문성의 트레이드오프가 존재한다.

기술적 특징

• v2는 agentic 행동을 위한 multi-step tool-use 궤적(read→reason→act→verify)을 학습 데이터에 포함시켜 행동의 연속성을 강화한 점이 핵심 설계 선택이다. 이 설계는 모델이 먼저 파일·명령 출력을 grep/read/ls 등으로 확인한 뒤 근거 기반으로 행동하도록 유도하며 tau2-bench의 diagnose→fix→verify 루프에서 성능 향상으로 이어졌다. 결과적으로 도구 호출 시 허구 생성(fabrication)이 0%로 보고되어 근거 기반 행동이 유지되고 있음을 확인했다.
• 코딩 성능 강화를 위해 gated Chain-of-Thought 메커니즘을 도입해 테스트 통과를 조건으로 한 사고 흐름을 학습시켰다. 이 방식은 코드 생성 중 중간 단계에서 자동으로 단위 테스트를 고려하거나 실행 결과를 검증하는 행동을 촉진하며, 오류 수정까지 이어지는 연속 작업에서 유의미한 안정성을 제공했다. 학습 데이터에는 Fable-5 관련 자가작성 추적과 재구성된 Opus 4.8 데이터가 혼합되어 있어 난이도 높은 코딩 케이스를 보완했다.
• 배포·실행 효율성을 위해 safetensors bfloat16 마스터와 함께 GGUF 양자화 파이프라인을 공식적으로 권장하고 있다. README에는 다양한 GGUF 빌드와 권장 VRAM 범위가 명시되어 있어 각 운영 환경에서 최적화된 양자화 선택이 가능하다. 이 설계는 빌더가 원하는 정밀도와 성능 균형을 직접 제어할 수 있게 만들며 로컬 실행 효율을 크게 향상시킨다.
• 생성 가속을 위한 speculative decoding(MTP) 드래프트를 지원하며, 특정 llama.cpp 빌드(b9553)에서 검증된 재현성과 속도 향상(예시: ~88 → ~180 tok/s)이 보고되었다. 이 구성은 MTP 드래프트를 GGUF 양자화와 함께 사용해 실전 코드 생성 시 throughput을 올리는 데 기여한다. 단 최신 llama.cpp 빌드에서는 드래프트 로더의 회귀가 보고되어 특정 빌드 고정이 필요하다.

차별점

• 이 모델은 agentic 도메인 전용으로 학습 궤적을 설계하여 도구 호출과 검증 루프를 네이티브 Gemma 4 프로토콜로 출력하는 점에서 차별화된다. 이러한 네이티브 프로토콜 출력은 외부 툴과의 통합을 간소화하고 툴-호출 후 검증 단계까지 자동화하는 워크플로우에 적합하다. 결과적으로 터미널 기반 디버깅과 멀티스텝 자동화 작업에서 동급 기종보다 더 실전 지향적인 행동을 보인다.
• full-precision safetensors 마스터를 공개하면서 빌더가 직접 양자화·추가 튜닝을 수행할 수 있게 한 배포 전략이 차별점이다. README에서는 다양한 권장 GGUF 양자화 빌드를 함께 제공해 테스트와 배포 사이의 진입장벽을 낮추었다. 이 접근은 커스터마이제이션과 재현 가능한 로컬 실험을 중시하는 오픈소스 빌더에게 특히 유용하다.
• MTP speculative decoding 드래프트를 공식적으로 포함해 특정 실행 스택(llama.cpp b9553)에서 generation 속도 향상을 입증한 점이 다른 공개 파인튜닝 모델과 구별되는 요소다. 이 기능은 양자화된 GGUF 빌드와 결합했을 때 로컬 환경에서 실용적인 throughput 개선을 가능하게 한다. 다만 드래프트 로더의 빌드 민감성은 함께 고려해야 할 차이점이다.

벤치마크