openbmb/MiniCPM-SALA
초장문 텍스트 생성 및 문맥 분석9B1K 컨텍스트apache-2.0
Sparse와 Linear Attention을 결합하여 100만 토큰 이상의 초장문을 3.5배 빠르게 처리하는 하이브리드 언어 모델입니다.
핵심 포인트
- 1M+ (100만) 토큰 초장문 컨텍스트 지원
- Sparse(25%) + Linear(75%) 하이브리드 아키텍처
- 기존 Dense 모델 대비 최대 3.5배 빠른 추론 속도
- HyPE(Hybrid Positional Embedding) 기반 길이 일반화
471
LIKES
4.7k
DOWNLOADS
1 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.
