NVIDIA, 하이브리드 Mamba-Transformer 구조의 Nemotron 3 Nano 4B 공개

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

NVIDIA는 Nemotron 3 제품군의 가장 컴팩트한 모델인 Nemotron 3 Nano 4B를 발표했다. 이 모델은 Mamba와 Transformer를 결합한 하이브리드 아키텍처를 채택하여 엣지 디바이스에서의 효율성과 정확도를 극대화했다. Nemotron Elastic 기술을 통해 9B 모델에서 프루닝 및 증류되었으며, RTX GPU와 Jetson 플랫폼에서 낮은 지연 시간과 최소한의 VRAM 점유율로 작동한다. 특히 명령 이행, 도구 사용, 게임 에이전트 성능에서 동급 모델 대비 뛰어난 성능을 보여준다.

배경

Transformer 아키텍처, Mamba(SSM) 개념, 지식 증류(Knowledge Distillation), 양자화(Quantization) 기초 지식

대상 독자

엣지 디바이스(Jetson, RTX)에서 로컬 LLM을 배포하려는 개발자 및 로보틱스/게임 AI 엔지니어

의미 / 영향

소형 모델에서도 하이브리드 아키텍처와 정교한 압축 기법을 통해 고성능 에이전트 기능을 구현할 수 있음을 입증했다. 이는 클라우드 의존도를 낮추고 개인정보 보호가 중요한 로컬 AI 생태계 확산에 기여할 것이다.

섹션별 상세

Nemotron 3 Nano 4B는 Mamba의 효율적인 시퀀스 처리 능력과 Transformer의 강력한 주의 집중 메커니즘을 결합했다. 이를 통해 긴 문맥에서도 낮은 연산 비용을 유지하면서 높은 정확도를 확보했다.

기존 9B 모델에서 처음부터 학습하는 대신 라우터 기반의 구조적 프루닝과 지식 증류를 결합한 Nemotron Elastic 기술을 사용했다. 라우터는 Mamba 헤드 수, 임베딩 차원, FFN 채널, 레이어 깊이 등 4가지 축을 최적화하여 4B 파라미터 예산 내에서 최적의 성능을 내는 구조를 찾아냈다.

압축 후 정확도 회복을 위해 8K 단기 문맥 증류와 49K 장기 문맥 확장 증류 과정을 거쳤다. 이후 Megatron-LM을 이용한 SFT와 NeMo-RL을 활용한 3단계 강화학습을 통해 에이전트로서의 능력을 극대화했다.

FP8 및 Q4_K_M GGUF 형식을 지원하며 ModelOpt 라이브러리를 통한 사후 양자화(PTQ)를 적용했다. 정확도 유지에 핵심적인 Self-attention 레이어와 특정 Mamba 레이어를 BF16으로 유지하는 선택적 양자화 전략을 통해 성능 하락 없이 처리량을 최대 1.8배 향상했다.

Jetson Orin Nano 8GB 환경에서 Llama.cpp를 사용할 때 초당 18개 토큰을 생성하며 이는 상위 모델인 9B v2 대비 2배 높은 처리량이다. RTX 4070 GPU에서도 동급 모델 중 가장 낮은 VRAM 점유율과 빠른 첫 토큰 생성 시간(TTFT)을 기록했다.

실무 Takeaway

Nemotron Elastic 기술을 활용하면 거대 모델의 지식을 유지하면서도 연산 자원이 제한된 엣지 환경에 최적화된 소형 모델을 효율적으로 구축할 수 있다.
Mamba와 Transformer의 하이브리드 구조는 엣지 디바이스에서 긴 문맥 처리와 추론 속도 사이의 균형을 맞추는 데 효과적인 대안이 된다.
선택적 양자화 기법을 적용하여 모델의 핵심 레이어 정밀도를 유지함으로써 양자화로 인한 성능 저하를 방지하고 추론 효율을 극대화할 수 있다.