Qwen 35B MoE와 Claude Opus의 만남, 강력한 추론 성능의 증류 모델
멀티모달 이미지-텍스트 추론 및 생성35Bapache-2.0
Qwen3.6 35B MoE 아키텍처를 기반으로 Claude 4.6 Opus의 추론 데이터를 학습하여 이미지와 텍스트 기반의 고도화된 사고 능력을 구현한 모델이다.
핵심 역량
- 이미지 및 텍스트 기반 멀티모달 추론
- 단계별 사고의 사슬(CoT) 생성
- 복잡한 논리 문제 해결 및 대화
- Claude Opus 스타일의 고도화된 응답 생성
강점
- Claude 4.6 Opus의 고도화된 추론 패턴을 35B 규모 모델에 이식
- MoE 구조를 통한 파라미터 대비 효율적인 연산 성능 확보
- 필터링된 고품질 추론 데이터셋(Opus-4.6-Reasoning) 사용
훈련 방식
Qwen3.6 35B A3B 기반, Claude 4.6 Opus 추론 데이터셋을 활용한 지식 증류 및 SFT 학습
알아두면 좋은 것
- Claude 4.6 Opus 및 Qwen3.5 추론 데이터셋 약 13,700개 샘플 활용
- Unsloth 및 TRL 프레임워크를 통한 최적화 학습 수행
- Qwen3.6 35B A3B MoE 아키텍처 기반의 효율적 추론 구조
- Apache 2.0 라이선스로 상업적 이용 가능
64
Likes
5.3k
Downloads
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.