Bittensor 네트워크로 학습된 18B 파라미터 MoE 모델, Quasar-Preview
텍스트 생성 및 대화형 태스크18Bmit
Bittensor의 분산 학습 환경에서 훈련된 18B 파라미터 규모의 Mixture of Experts(MoE) 파운데이션 모델로, 2B 활성 파라미터를 사용하여 효율적인 텍스트 생성 수행.
핵심 역량
- 텍스트 생성
- 대화형 응답
- 긴 문맥 처리
강점
- 18B 모델 대비 2B 활성 파라미터로 추론 효율성 극대화
- 분산형 학습 인프라를 활용한 파운데이션 모델
훈련 방식
Bittensor 네트워크(SN24) 기반 분산 학습 및 지식 증류 기법 적용
알아두면 좋은 것
- Bittensor 네트워크(SN24)를 통한 분산 학습 모델
- 18B 총 파라미터 중 2B 활성 파라미터 사용
- 하이브리드 및 루프 트랜스포머 아키텍처 적용
- MIT 라이선스 적용
81
Likes
363
Downloads
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.