NVIDIA, 30B 파라미터급 멀티모달 추론 모델의 NVFP4 양자화 버전 공개
멀티모달 추론 및 텍스트 생성30Bother
NVIDIA의 Nemotron-3-Nano-Omni-30B-A3B-Reasoning 모델을 NVFP4 형식으로 양자화하여 추론 효율성을 극대화한 멀티모달 모델입니다.
핵심 역량
- 멀티모달 데이터 처리
- 복합 논리 추론
- 텍스트 생성 및 분석
- 양자화 기반 고속 추론
강점
- NVFP4 양자화를 통한 메모리 점유율 감소 및 추론 처리량 향상
- 30B 규모의 고성능 멀티모달 추론 역량 유지
훈련 방식
Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16 기반, ModelOpt를 사용한 NVFP4 양자화
알아두면 좋은 것
- NVIDIA ModelOpt를 통한 NVFP4 양자화 적용
- Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16 기반
- NVIDIA 전용 하드웨어 가속 최적화
- 멀티모달 추론 특화 아키텍처
92
Likes
462.3k
Downloads
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.