TL;DR

Grug 12B는 google/gemma-4-12B-it를 기반으로 QLoRA와 LoRA 병합 워크플로로 미세조정한 모델로, verbose한 추론 trace를 짧고 고밀도인 compact trace로 변환해 토큰 효율을 높이는 데 초점을 맞추었다. 학습 파이프라인은 엄격한 최신성 컷오프와 라이선스 필터를 적용해 검증된 reasoning·math·code 데이터로 구성되었고 학습은 4-bit NF4 양자화와 BF16 연산을 결합한 상태에서 completion-only SFT로 수행되었다. 로컬 EOS-only 수학 프록시 평가에서 proxy_accuracy 100.0%와 평균 생성 토큰 68.94를 기록해 토큰 사용량 감소와 답안 보존이라는 목표 방향성을 확인했으나 README에서 평가가 소규모 로컬 테스트임을 명시해 광범위한 일반화와 장기 유도 과제에 대한 위험성을 별도 검증해야 한다.

핵심 포인트

• 학습 목표가 단순한 정답 성능 향상이 아니라 추론 trace의 길이와 밀도를 직접 줄이는 데 초점이 맞춰져 있다. 이로 인해 모델은 동일한 문제에 대해 더 적은 토큰으로 내부 검증과 최종 답안 점검을 유지하도록 조정되었다. 경쟁 모델들이 주로 출력을 길이로만 평가하는 것과 달리 Grug 12B는 trace 압축과 답안 보존의 균형을 중점에 두었다.
• QLoRA로 빠르게 LoRA를 학습한 뒤 학습 완료 후 LoRA를 기반 모델에 병합해 완전한 weights를 공개한 배포 전략을 채택했다. 이 접근은 실험 단계에서 자원 효율성을 확보하면서 사용자에게는 표준화된 모델 아티팩트를 제공하는 효과가 있다. 또한 병합된 가중치 공개는 별도의 LoRA 적용 런타임을 요구하지 않아 배포 편의성을 높였다.
• 데이터 신선도와 라이선스 필터를 엄격하게 적용한 소스 게이팅과 압축 검증 워크플로를 통합했다. 최신성 컷오프와 허용된 라이선스 목록을 명시해 상업적 이용과 출처 검증 위험을 낮추는 방향으로 데이터 준비를 구성했다. 또한 compact transform의 자동적·수동적 검증을 통해 압축 과정에서 핵심 정보가 유실되지 않도록 관리한 점이 차별화 요소이다.
• 로컬 수학 추론 프록시 평가에서 proxy_accuracy 100.0%를 기록하면서 평균 생성 토큰을 68.94로 줄여 기준 모델 대비 생성 토큰과 평균 길이에서 큰 개선을 보였다. 이 결과는 같은 36개 행의 소규모 평가에서 총 생성 토큰이 2,482로 기준 모델의 8,227 대비 현저히 적음을 의미한다. 짧은 학습 시간(단일 A100에서 약 35분)과 완전 가중치 병합 공개는 빠른 실험과 배포를 가능하게 했다.

벤치마크