GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking
텍스트 생성과 코드 생성, 지시문 이행 및 긴 컨텍스트 유지 기반의 대화·코드 처리 작업을 수행한다.1B128K 컨텍스트apache-2.0
MiniCPM5-1B 기반 1B 모델을 Fable 5로 포스트트레이닝해 코딩과 instruction-following 성능을 강화하고 128K 토큰 컨텍스트와 Thinking 채팅 템플릿을 제공한다.
학습 방식 · openbmb/MiniCPM5-1B을 기반으로 Fable 5 트레이스로 포스트트레이닝을 수행해 코드 생성과 지시문 이행 신호를 강화한 방식이다.
TL;DR
이 모델은 openbmb/MiniCPM5-1B을 기반으로 GnLOLot이 Fable 5 트레이스로 포스트트레이닝한 1B 규모 변형으로, 코드 생성과 지시문 이행 능력이 베이스 대비 향상되도록 설계되었다. MiniCPM5의 Thinking 채팅 템플릿과 XML 도구 호출 포맷을 유지해 중간 추론 블록과 기계 판독 가능한 도구 호출을 동시에 지원하며 config.json의 max_position_embeddings=131072로 128K 토큰 컨텍스트를 처리할 수 있다. GGUF 양자화 파일과 단일 GPU 배포 권장 설정을 제공해 로컬 배포 경로가 잘 갖추어져 있고 V2에서는 도구 호출 관련 기능이 추가로 강화되었다. 다만 Thinking 모드는 중간 추론 블록을 출력하는 설계적 특성이 있어 후처리로 해당 블록을 제거해야 최종 사용자 응답으로 적합하며 1B 규모라는 한계로 최첨단 대형 모델과의 직접 성능 비교에서는 차이가 있을 수 있다.
핵심 포인트
- Fable 5 트레이스로 파인튜닝해 코드 생성과 지시문 이행 성능을 베이스 체크포인트보다 강화한 점.
- max_position_embeddings=131072로 128K 토큰 컨텍스트를 지원해 장문의 입력을 단일 세션으로 유지할 수 있는 점.
- GGUF 양자화 파일과 단일 GPU 친화적 배포 지침을 함께 제공해 로컬·엣지 환경에서 실행을 용이하게 한 점.
- Fable 5 데이터로 추가 학습된 결과 코딩과 지시문 이행에서 베이스 체크포인트보다 응답의 관련성과 실용성이 향상되었다는 점이 README에 표기되어 있다.
166
LIKES
6.2k
DOWNLOADS
1 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.