NVIDIA Nemotron 3 Super: 에이전트 AI를 위한 1,200억 파라미터 하이브리드 모델 출시

섹션별 상세

Nemotron 3 Super는 1,200억 개의 전체 파라미터 중 추론 시 120억 개만 활성화하는 하이브리드 MoE(Mixture-of-Experts) 구조를 갖추고 있다. 효율적인 메모리 및 연산을 위한 Mamba 레이어와 고도의 추론을 담당하는 Transformer 레이어를 결합하여 이전 모델 대비 처리량은 5배, 정확도는 2배 향상되었다.

Latent MoE와 Multi-Token Prediction 기술을 도입하여 추론 성능을 극대화했다. Latent MoE는 하나의 전문가 비용으로 네 명의 전문가를 활성화하여 정확도를 높이며, Multi-Token Prediction은 여러 개의 미래 단어를 동시에 예측하여 추론 속도를 3배까지 끌어올린다.

100만 토큰에 달하는 대규모 컨텍스트 윈도우를 통해 멀티 에이전트 시스템의 고질적인 문제인 컨텍스트 폭발과 목표 이탈(Goal Drift)을 해결한다. 에이전트가 전체 워크플로우 상태를 메모리에 유지할 수 있어, 도구 출력이나 중간 추론 과정이 길어져도 원래의 목적을 잃지 않고 일관된 작업을 수행한다.

NVIDIA Blackwell 플랫폼에서 NVFP4 정밀도를 지원하여 Hopper 아키텍처 대비 최대 4배 빠른 추론 속도를 구현한다. 정확도 손실 없이 메모리 요구 사항을 대폭 낮추었으며, 기업들은 NVIDIA NIM 마이크로서비스를 통해 온프레미스부터 클라우드까지 유연하게 배포할 수 있다.

NVIDIA는 모델 가중치뿐만 아니라 10조 개 이상의 토큰으로 구성된 데이터셋 방법론, 강화학습 환경, 평가 레시피를 모두 공개했다. 개발자는 NeMo 플랫폼을 사용하여 모델을 미세 조정하거나 합성 데이터 생성 기법을 활용해 고유한 에이전트 시스템을 구축할 수 있다.

용어 해설

맘바(Mamba): — 상태 공간 모델(SSM)을 기반으로 한 아키텍처로, 시퀀스 길이에 따라 연산량이 선형적으로 증가하여 Transformer의 이차 복잡도 문제를 해결한다. 긴 문맥 처리에서 높은 효율성을 제공하며 Nemotron 3 Super의 하이브리드 구조 핵심 요소이다.
전문가 혼합(MoE): — 전체 파라미터 중 일부 전문가(Expert) 레이어만 선택적으로 활성화하여 추론하는 방식이다. 모델의 총 용량은 키우면서도 실제 추론 시 연산 비용을 낮게 유지할 수 있어 대규모 모델 운영의 효율성을 극대화한다.
다중 토큰 예측(Multi-Token Prediction): — 한 번의 추론 단계에서 다음 단어 하나가 아닌 여러 개의 미래 토큰을 동시에 예측하는 기법이다. 이를 통해 연산 효율을 높이고 전체적인 텍스트 생성 속도를 기존 방식 대비 수 배 이상 향상시킨다.
엔비디아 4비트 부동소수점(NVFP4): — NVIDIA Blackwell 아키텍처에서 지원하는 새로운 4비트 부동소수점 데이터 포맷이다. 기존 FP8 대비 메모리 사용량을 절반으로 줄이면서도 정확도 손실 없이 추론 성능을 최대 4배까지 가속화한다.
목표 이탈(Goal Drift): — AI 에이전트가 긴 작업을 수행하거나 복잡한 대화를 이어가는 과정에서 초기 설정된 목표를 잊거나 엉뚱한 방향으로 추론이 흐르는 현상이다. 방대한 컨텍스트를 안정적으로 유지하지 못할 때 주로 발생한다.

기술

Nemotron 3 Super
NVIDIA Blackwell
NVIDIA NIM
Mamba
Transformer
NVFP4

활용 사례

자율 코딩 에이전트
심층 금융 리서치
멀티 에이전트 워크플로우 자동화
사이버 보안 오케스트레이션

언급된 리소스

API DocsNVIDIA build.nvidia.com

GitHubDell Enterprise Hub on Hugging Face

DemoPerplexity AI