120B의 지능을 12B의 비용으로 구현한 Latent-MoE 및 MTP 아키텍처 혁신
텍스트 생성 및 대화형 AI120B (Active: 12B)other
Latent-MoE와 Multi-Token Prediction을 결합해 120B 규모의 성능을 12B 활성 파라미터로 구현한 고효율 모델이다.
핵심 역량
- 멀티턴 대화 및 문맥 유지
- 다국어 텍스트 생성 (영·중·일 및 주요 유럽어)
- 복잡한 논리적 추론 및 문제 해결
- 코드 생성 및 기술 문서 분석
강점
- 120B 전체 파라미터 대비 10%의 활성 파라미터(12B)로 운영 효율 달성
- FP8 양자화 적용으로 메모리 대역폭 및 연산 속도 최적화
- NVIDIA H100 등 최신 가속기에서 최상의 추론 처리량 발휘
훈련 방식
Nemotron-3 기반 Latent-MoE 및 Multi-Token Prediction 적용, NVIDIA 전용 데이터셋으로 사전 학습 및 포스트 트레이닝 수행
알아두면 좋은 것
- NVIDIA 전용 포스트 트레이닝 데이터셋 v3를 통한 정렬 수행
- Latent-MoE 구조를 통한 전문가 선택의 정교화
- FP8 정밀도 사용으로 최신 NVIDIA GPU 아키텍처 권장
- 한국어는 공식 지원 언어 목록에 포함되지 않음
191
Likes
649.2k
Downloads
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.