Claude Opus의 추론 능력을 담은 27B Qwen 모델, MTP로 가속화
텍스트 생성, 추론, 코딩, 수학 문제 해결27Bapache-2.0
Claude Opus의 추론 데이터를 학습하고 Multi-Token Prediction(MTP)을 적용하여 코딩, 수학, 과학 분야의 추론 능력을 강화한 27B 규모의 Qwen 기반 파인튜닝 모델.
핵심 역량
- 멀티턴 대화
- 복잡한 추론 및 Chain-of-Thought 생성
- 코드 작성 및 디버깅
- 수학 및 과학 문제 해결
- 다국어 지원
강점
- Claude Opus의 추론 데이터를 활용한 성능 최적화
- MTP 적용을 통한 추론 효율성 향상
- Apache 2.0 라이선스로 상업적 활용 가능
훈련 방식
Qwen 27B 기반 모델에 Claude Opus TraceInversion 데이터셋을 활용한 SFT 및 Multi-Token Prediction(MTP) 적용.
알아두면 좋은 것
- Claude Opus의 추론 데이터를 활용한 지식 증류(Distillation) 수행
- Multi-Token Prediction(MTP) 아키텍처 적용으로 추론 효율성 향상
- GGUF 포맷 제공으로 로컬 하드웨어에서 즉시 실행 가능
- 한국어를 포함한 다국어(영어, 중국어, 일본어, 러시아어, 스페인어) 지원
313
Likes
189.2k
Downloads
1 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.