NVIDIA Nemotron 3 Super를 활용한 기업용 에이전트 AI 구축 가이드

섹션별 상세

01

Nemotron 3 Super는 1200억 개의 파라미터를 보유한 하이브리드 Mamba-Transformer MoE 모델로, 100만 토큰의 컨텍스트 윈도우를 지원한다. IT 자동화 및 공급망 관리와 같은 복잡한 멀티 에이전트 워크로드에 최적화된 높은 추론 능력을 제공한다.

02

DataRobot 플랫폼 내에서 NVIDIA NIM 마이크로서비스를 통해 원클릭 배포가 가능하다. NVFP4 양자화 기술을 적용하여 추론 비용을 예측 가능하게 유지하며, 플랫폼이 하드웨어 사양에 맞는 최적의 GPU 구성을 자동으로 추천한다.

03

Thinking Budget 설정을 통해 작업의 복잡도에 따라 비용과 정확도를 유연하게 조절한다. Finance Reasoning Hard 벤치마크 기준, 최고 설정 시 86%의 정확도를 기록하며 최저 설정 시에는 토큰 소비를 14배 줄이면서도 74%의 정확도를 유지한다.

FinanceReasoning Hard 벤치마크에서 출력 토큰 수 대비 평균 정확도를 보여주는 산점도 차트이다. — ChartNemotron 3 Super 모델이 Thinking Budget 설정에 따라 정확도와 비용(토큰 사용량) 사이에서 어떻게 변화하는지 보여준다. 최고 설정 시 약 140만 토큰을 사용해 86% 이상의 정확도를 달성하며, 최저 설정 시 약 10만 토큰으로 74% 수준의 성능을 내는 트레이드오프 관계를 명확히 제시한다.

04

LLM-as-a-Judge와 Playground 기능을 활용하여 모델의 충실도, 관련성, 편향성 등을 사전에 엄격히 평가한다. 프로그래밍 방식의 Evaluation API를 지원하여 기존 CI/CD 워크플로에 자동화된 평가 파이프라인을 통합할 수 있다.

DataRobot 플랫폼 내에서 에이전트 평가 및 중재 지표를 설정하는 구성 화면이다. — Screenshot에이전트 목표 정확도, 콘텐츠 안전성, 비용, 충실도(Faithfulness), PII 탐지 등 다양한 평가 항목을 카드 형태로 선택하여 구성할 수 있음을 보여준다. 각 지표가 어떤 역할을 하는지 UI를 통해 직관적으로 설명한다.

05

OpenTelemetry(OTel) 기반의 실행 트레이싱 기능을 통해 에이전트의 전체 실행 경로를 시각화한다. 각 노드별 지연 시간과 페이로드를 추적하여 성능 저하의 근본 원인을 신속하게 분석하고 디버깅할 수 있다.

에이전트의 실행 과정을 단계별로 추적하여 시각화한 트레이싱 대시보드이다. — Screenshot사용자 프롬프트부터 도구 호출, 가드레일 작동, 최종 응답 생성까지의 전체 워크플로를 타임라인 형태로 보여준다. 각 단계의 지연 시간(ms)과 데이터 흐름을 추적하여 멀티 에이전트 시스템의 디버깅과 성능 최적화에 활용됨을 나타낸다.

06

NVIDIA NeMo Guardrails를 통합하여 실시간으로 콘텐츠 안전성을 관리한다. PII 유출 방지, 탈옥 시도 감지, 주제 경계 준수 여부 등을 실행 중에 즉각적으로 중재하며 모든 변경 사항은 감사 가능한 이력으로 관리된다.

용어 해설

전문가 혼합 모델(MoE): — 전체 파라미터 중 일부 전문가 네트워크만 활성화하여 추론 효율을 높이는 아키텍처이다. Nemotron 3 Super는 120B 규모의 MoE 구조를 채택하여 높은 성능과 효율성을 동시에 확보했다.
추론 예산(Thinking Budget): — 모델이 응답을 생성하기 위해 투입하는 연산량이나 토큰 수를 조절하는 설정이다. 작업의 복잡도에 따라 정확도와 비용 간의 균형을 맞추는 데 사용된다.
오픈텔레메트리 트레이싱(OTel Tracing): — 분산 시스템에서 요청의 흐름을 추적하는 표준 기술이다. 에이전트 시스템의 각 단계별 지연 시간과 입출력을 시각화하여 성능 병목 지점을 파악하는 데 필수적이다.
NVFP4 양자화(NVFP4 Quantization): — NVIDIA의 4비트 부동소수점 형식을 사용하여 모델 가중치를 압축하는 기술이다. 성능 저하를 최소화하면서 메모리 사용량과 추론 비용을 획기적으로 줄여준다.

기술

NVIDIA Nemotron 3 Super
DataRobot Agent Workforce Platform
NVIDIA NIM
NeMo Guardrails
OpenTelemetry

활용 사례

IT 자동화 에이전트
공급망 최적화 오케스트레이션
복잡한 금융 데이터 추론 및 분석

언급된 리소스

문서NVIDIA NIM Model Gallery