120B의 지능을 12B의 비용으로, NVIDIA NVFP4 양자화가 적용된 Latent MoE 모델
텍스트 생성 및 다국어 대화120Bother
120B 파라미터의 성능을 12B의 연산량과 NVFP4 양자화로 구현하여 효율성을 극대화한 NVIDIA의 차세대 언어 모델이다.
핵심 역량
- 다국어 텍스트 생성 및 번역
- 복잡한 논리적 추론 및 문제 해결
- 대화형 AI 어시스턴트 역할 수행
- 효율적인 멀티 토큰 예측 기반 문장 생성
강점
- 120B 파라미터의 지식을 12B 수준의 연산 비용으로 실현
- NVFP4 양자화로 메모리 사용량을 획기적으로 절감
- MTP 기술을 통한 추론 처리량(Throughput) 개선
훈련 방식
Nemotron-3 120B 기반 Latent MoE 아키텍처에 NVFP4 양자화 및 Multi-Token Prediction 적용
알아두면 좋은 것
- 영어, 프랑스어, 스페인어, 이탈리아어, 독일어, 일본어, 중국어 대응
- NVIDIA의 최신 포스트 트레이닝 데이터셋 v3로 정렬 수행
- NVIDIA ModelOpt를 통한 최적화 및 배포 가능
- 추론 시 12B 파라미터만 활성화하여 지연 시간 단축
208
Likes
948.4k
Downloads
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.