397B 파라미터의 거대 지식을 17B 활성 파라미터로 처리하는 Qwen 3.5 MoE 모델
멀티모달 이미지 및 텍스트 이해 및 생성397B (Active: 17B)apache-2.0
Mixture-of-Experts 구조를 통해 397B의 방대한 파라미터를 보유하면서도 17B의 연산 비용으로 구동되는 고성능 멀티모달 모델이다.
핵심 역량
- 이미지 내용 설명 및 질의응답
- 텍스트 기반 추론 및 대화
- 시각 정보와 텍스트의 교차 분석
- 멀티턴 멀티모달 대화
강점
- 397B급 모델의 성능을 17B급 추론 자원으로 구현
- 상업적 이용이 자유로운 Apache 2.0 라이선스
- 이미지-텍스트 통합 이해 능력의 우수성
훈련 방식
Qwen 3.5 MoE 아키텍처 기반의 대규모 멀티모달 사전 학습 및 정렬
알아두면 좋은 것
- 총 397B 파라미터 중 17B만 사용하는 효율적 MoE 구조
- Apache 2.0 라이선스 적용으로 상업적 활용 가능
- Qwen 3.5 시리즈의 최신 아키텍처 및 학습 기법 적용
- Transformers 라이브러리를 통한 표준화된 배포 지원
1.4k
Likes
1.8M
Downloads
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.