REAP 기법으로 효율을 극대화한 Qwen 3.5 28B MoE 모델
텍스트 생성 및 언어 이해28Bapache-2.0
Qwen 3.5 35B MoE 모델을 REAP 전문가 가지치기 기법으로 28B까지 경량화하여 성능과 효율의 균형을 맞춘 모델이다.
핵심 역량
- 텍스트 생성 및 대화
- 언어 이해 및 논리 추론
- 효율적인 MoE 전문가 활용
강점
- 기존 35B 모델 대비 파라미터 수 약 20% 감소
- REAP 기법을 통한 성능 저하 최소화 및 추론 효율 확보
훈련 방식
Qwen 3.5 35B A3B 기반 REAP 전문가 가지치기(Expert Pruning) 기법 적용
알아두면 좋은 것
- Qwen 3.5 35B A3B 모델을 28B 규모로 압축
- REAP(Expert Pruning) 전문가 가지치기 기법 적용
- Apache 2.0 라이선스로 상업적 이용 가능
- 영어 중심의 데이터 환경에서 최적화
61
Likes
594
Downloads
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.