122B의 지능을 10B의 비용으로, FP8 양자화로 완성된 초거대 멀티모달 MoE
멀티모달 텍스트 생성 (이미지 및 텍스트 입력)122B (10B Activated)262K 컨텍스트apache-2.0
122B 파라미터의 방대한 지식을 10B 활성화로 효율 처리하며 이미지 이해와 201개 언어를 지원하는 고성능 양자화 모델입니다.
핵심 역량
- 122B 파라미터 중 10B만 활성화하는 고효율 MoE 구조
- 이미지-텍스트 통합 학습을 통한 강력한 시각적 이해 및 추론
- 기본 262K, 최대 1M 토큰의 초장문 컨텍스트 지원
- 한국어를 포함한 201개 이상의 다국어 처리 능력
- FP8 양자화를 통한 추론 속도 향상 및 메모리 절감
알아두면 좋은 것
- MMLU-Pro(86.7), GPQA Diamond(86.6) 등 주요 벤치마크에서 GPT-5-mini 상회
- FP8 양자화 적용으로 원본 모델 대비 성능 저하 없이 효율적인 로컬/클라우드 배포 가능
- Gated Delta Networks와 Sparse MoE 결합으로 지연 시간 및 비용 최소화
- 한국어 포함 201개 언어 지원으로 광범위한 문화적 이해도 보유
55
Likes
50.2k
Downloads
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.