Qwen3.6-27B를 Fable5 스타일 추론·코드 대응으로 튜닝한 27B 풀체크포인트
인스트럭션-팔로잉(assistant-style), 코드 생성·편집, 기술적 디버깅·추론(체크리스트·트레이스 형태의 응답 생성), 로컬 추론(변환 후 GGUF 기반 실행) 작업mit
Qwen3.6-27B 기반을 Fable 5 계열의 정제된 추론·인스트럭션 데이터로 instruction-tuning한 27B 풀체크포인트로, 코드·기술적 추론과 GGUF 변환을 염두에 둔 로컬 친화형 모델이다.
TL;DR
Qwable 27B는 unsloth의 Qwen3.6-27B를 기반으로 한 풀(fine-tuned) Hugging Face 체크포인트로, Fable 5 스타일의 정제된 추론·인스트럭션 데이터로 instruction-tuning을 수행해 응답을 더 구조적이고 단계적으로 만들도록 목표화했다. 모델은 LoRA가 아닌 전체 가중치 형태로 배포되며 MTP 레이어가 포함되지 않아 일반 Qwen 계열 causal LM으로 바로 사용하거나 GGUF로 변환해 로컬 추론에 배치하기 용이하다. 결과적으로 코드 생성·편집, 기술적 디버깅 및 추론 중심의 assistant 워크플로에서 더 조직된 출력 스타일을 기대할 수 있으나, 공개된 평가 수치나 넓은 안전성 검증은 제공되지 않아 고위험·실무 사용 전 별도 검증이 필요하다.
핵심 역량
- 구조화된 인스트럭션 이행과 단계별(트레이스) 응답 생성
- 코드 생성·수정 및 기술적 디버깅 서술(단계·근거 포함)
- 추론이 필요한 복합 질의에 대해 보다 설명적이고 조직된 출력 생성
- 로컬 변환(GGUF) 후 오프라인 추론 워크플로에서 사용 가능
강점
- 풀 체크포인트 제공 — PEFT/LoRA가 아니라 전체 가중치가 포함되어 있어 변환(GGUF)·검증·온디바이스 배포에 유리하다.
- MIT 라이선스 적용 — 상용·연구 목적의 재배포·변환에 법적 제약이 적음.
- Trace/reasoning 중심의 인스트럭션 튜닝으로 코드·기술적 응답 스타일이 더 구조화되도록 목표화됨.
훈련 방식
unsloth/Qwen3.6-27B를 기반으로 instruction-tuning과 trace/reasoning-style 예제로 정제된 Fable 5 계열 데이터로 풀체크포인트 fine-tuning을 수행함.
알아두면 좋은 것
- Base: unsloth/Qwen3.6-27B 기반의 풀 fine-tuned 체크포인트(LoRA 아님)
- Training style: instruction tuning + trace/reasoning-style 예제로 미세조정
- MTP layers: 0 — MTP 의존성 없음
- 로컬 실행을 위한 GGUF 변환을 염두에 둔 설계 및 MIT 라이선스
기술적 특징
- 기반 아키텍처는 unsloth/Qwen3.6-27B이며, Qwen3_5ForConditionalGeneration 인터페이스로 배포된다. 이로 인해 Qwen 계열의 causal LM 동작과 호환되는 추론 흐름이 유지된다.
- 학습은 instruction-tuning에 trace/reasoning 스타일 예제를 사용해 모델이 단계별 근거와 절차적 응답을 생성하도록 방향을 맞췄다. 해당 데이터는 'cleaned Fable 5-style reasoning and instruction dataset'으로 명시되어 있어 응답의 서술적·논리적 구성에 초점을 뒀다.
- 체크포인트는 풀(fine-tuned) 모델로 제공되며 PEFT/LoRA가 아님을 명시했다. 이 때문에 변환·검증 단계에서 전체 가중치 접근이 가능하여 GGUF 등 로컬 포맷으로의 변환 지원이 수월하다.
- MTP 관련 레이어는 0으로 표기되어 있어 MTP 메타레이어에 의존하지 않는 구성이다. 따라서 MTP가 요구되는 런타임 가정 없이 일반 Qwen 스타일 causal LM으로 사용 가능하다.
- 로컬 친화성을 고려해 GGUF 변환을 염두에 둔 설계·권고사항을 제공한다. README는 변환 후 검증 프롬프트와 변환 검증 절차를 안내하여 로컬 배포 시 점검 포인트를 명확히 했다.
차별점
- 풀체크포인트 형태의 fine-tune 제공(LoRA가 아님)
- Fable 5 스타일의 정제된 trace/reasoning 인스트럭션 데이터로 튜닝됨
- MTP 레이어가 없도록 구성되어 있어 MTP 비호환 런타임에서도 사용 가능
- GGUF 변환 및 로컬 추론 흐름을 염두에 둔 검증 권고와 도구 친화적 문서화
143
Likes
26.2k
Downloads
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.