0xSero/gemma-4-21b-a4b-it-REAP
이미지 및 텍스트 입력 기반 텍스트 생성21Bgemma
Gemma 4 21B 아키텍처에 REAP 전문가 가지치기 기법을 적용하여 추론 효율을 극대화하고 이미지와 텍스트를 동시에 처리하는 멀티모달 모델이다.
학습 방식 · Gemma 4 21B 기반 REAP 전문가 가지치기 및 Cerebras 가속기를 활용한 MoE 파인튜닝
핵심 포인트
- REAP 기법 적용으로 동일 파라미터 대비 높은 추론 효율성 확보
- Gemma 4 기반의 최신 언어 모델 성능 계승
- MoE 구조를 통한 활성 파라미터 최적화 (a4b 추정)
- 이미지-텍스트 멀티모달 대화
80
LIKES
4.1k
DOWNLOADS
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.
