nvidia/NVIDIA-Nemotron-3-Super-120B-A12B-FP8
텍스트 생성 및 대화형 AI120B (Active: 12B)other
Latent-MoE와 Multi-Token Prediction을 결합해 120B 규모의 성능을 12B 활성 파라미터로 구현한 고효율 모델이다.
학습 방식 · Nemotron-3 기반 Latent-MoE 및 Multi-Token Prediction 적용, NVIDIA 전용 데이터셋으로 사전 학습 및 포스트 트레이닝 수행
핵심 포인트
- 120B 전체 파라미터 대비 10%의 활성 파라미터(12B)로 운영 효율 달성
- FP8 양자화 적용으로 메모리 대역폭 및 연산 속도 최적화
- NVIDIA H100 등 최신 가속기에서 최상의 추론 처리량 발휘
- 멀티턴 대화 및 문맥 유지
191
LIKES
649.2k
DOWNLOADS
1 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.
