yuxinlu1/gemma-4-12B-coder-fable5-composer2.5-v1-GGUF
Gemma 4 12B를 기반으로 Composer 2.5의 실제 CoT와 Fable 5의 보정 CoT를 증류해 실행 검증된 Python 솔루션을 출력하도록 미세조정한 GGUF 포맷의 로컬 코딩 모델이다.
학습 방식 · base_model: google/gemma-4-12B-it을 기반으로 Composer 2.5의 실제 CoT를 교사로 삼아 통과한 실행 결과만 증류하고, Composer가 실패한 사례는 Fable 5로 재시도해 합성 CoT를 보강하는 방식으로 파인튜닝을 수행했다.
TL;DR
이 모델은 Google의 Gemma 4 12B를 기반으로 Composer 2.5의 실제 chain-of-thought와 Fable 5의 보완 CoT를 증류해 Python 알고리즘 문제에서 실행 검증된 코드를 생성하도록 미세조정한 로컬 코딩 모델이다. 모델은 GGUF 포맷의 다중 퀀트를 제공해 Q2_K(약 4.5GB)부터 Q8_0(약 11.8GB)까지 하드웨어 제약에 맞춰 선택할 수 있으며 컨텍스트 길이는 메타데이터 버그 수정으로 256K로 고정되었다. 학습 데이터는 오직 코드 실행을 통해 테스트를 통과한 사례만 포함하므로 생성된 코드의 실행 가능성 측면에서 실사용 가치를 확보했고, 모델이 먼저 사고 흐름을 생성한 뒤 코드를 내놓는 'thinking' 채널을 기본으로 유지해 복잡한 문제에서 단계적 해결 전략을 재현한다. 다만 README는 안전성 보강이 되어 있지 않음을 명시하고 영어 중심 데이터 편향과 프로덕션 가드레일 필요성을 함께 알리고 있다.
핵심 포인트
- 학습 데이터에 테스트를 통과한 코드-추론 쌍만 사용한 점이 특징으로, 단순한 코드 데이터셋보다 실행 가능성 측면에서 엄격한 필터링을 적용했다.
- Composer 2.5의 실제 CoT와 Fable 5의 보완 CoT를 결합한 이중 교사 증류 파이프라인이 난이도 높은 케이스에서의 회복력을 높이도록 설계되었다.
- 여러 비트레벨의 GGUF 퀀트로 동일한 모델을 다양한 VRAM 환경에서 운영할 수 있게 한 점이 로컬 운영성 측면에서 차별화 요소로 작용한다.
- 매우 가벼운 실행 지문을 제공해 Q2_K 퀀트는 약 4.5GB의 파일 크기로 저사양 GPU나 유니파이드 메모리 환경에서도 로컬 실행이 가능하다는 점이 실사용성 우위로 작용한다.
2.7k
LIKES
726.3k
DOWNLOADS
39 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.