DataRobot과 Nebius: 에이전트에 최적화된 기업용 AI Factory 출시

핵심 요약

DataRobot과 Nebius는 기업용 AI 에이전트의 개발부터 배포, 거버넌스까지 전 과정을 가속화하는 'AI Factory for Enterprises'를 발표했다. 이 솔루션은 DataRobot의 Agent Workforce Platform과 Nebius의 AI 전용 GPU 클라우드 인프라를 통합하여 에이전트의 프로덕션 전환 기간을 획기적으로 단축한다. NVIDIA NIM 통합과 Workload API를 통해 보안이 강화된 모델 추론 환경을 제공하며, OpenTelemetry 표준 기반의 모니터링으로 에이전트의 성능과 안전성을 실시간으로 관리한다.

배경

Kubernetes 및 컨테이너 배포에 대한 기본 지식, LLM 에이전트 프레임워크(LangChain, LlamaIndex 등) 사용 경험, NVIDIA NIM 및 GPU 인프라에 대한 이해

대상 독자

기업용 AI 에이전트를 구축하고 프로덕션 환경에서 운영하려는 MLOps 엔지니어 및 개발자

의미 / 영향

이 파트너십은 기업이 AI 에이전트를 도입할 때 겪는 인프라 성능 불확실성과 거버넌스 부재 문제를 동시에 해결한다. 특히 NVIDIA 가속 컴퓨팅 기반의 검증된 스택을 제공함으로써 실험 단계의 에이전트를 실제 비즈니스 가치를 창출하는 프로덕션 수준으로 빠르게 전환할 수 있게 한다.

섹션별 상세

Nebius AI Cloud는 하드웨어 계층부터 AI 전용으로 설계되어 가상화 오버헤드 없이 베어메탈 급의 성능과 낮은 지연 시간을 제공한다. H100, B200 등 최신 NVIDIA GPU 클러스터와 InfiniBand RDMA 네트워킹을 지원하여 대규모 에이전트 워크로드의 예측 가능한 처리량을 보장한다.

DataRobot Agent Workforce Platform은 에이전트의 전체 수명 주기를 관리하며, 50개 이상의 NVIDIA NIM 및 Hugging Face 모델을 클릭 몇 번으로 배포할 수 있는 기능을 갖추고 있다. Workload API를 통해 LLM뿐만 아니라 컨테이너화된 에이전트, 애플리케이션, 복합 시스템을 단일 명령으로 배포하고 오토스케일링을 적용할 수 있다.

NVIDIA NGC에서 NIM 모델을 DataRobot으로 임포트하는 인터페이스 화면 — ScreenshotNVIDIA NGC 갤러리에서 Nemotron-3-Nano와 같은 모델을 선택하고 성능 프로필 및 GPU 리소스 번들을 확인하여 4번의 클릭만으로 배포할 수 있는 과정을 보여준다.

DataRobot Registry에서 모델을 추가하고 Proxy 설정을 구성하는 화면 — Screenshot모델 이름을 지정하고 타겟 유형을 'Text Generation'으로 설정하여 외부 모델을 프록시 형태로 등록하는 구체적인 설정 단계를 나타낸다.

거버넌스와 모니터링 측면에서는 OpenTelemetry(OTel) 표준을 채택하여 로그, 메트릭, 트레이스를 통합 관리한다. 에이전트 작업 준수도(Task Adherence) 및 정확도와 같은 특화된 지표를 제공하며, PII 탐지, 프롬프트 인젝션 방지 등 실시간 보안 개입 기능을 포함한다.

bash

curl -X POST "${DATAROBOT_API_ENDPOINT}/workloads/" \
 -H "Authorization: Bearer ${DATAROBOT_API_TOKEN}" \
 -H "Content-Type: application/json" \
 -d '{
 "name": "agent-service",
 "importance": "HIGH",
 "artifact": {
 "name": "agent-service-v1",
 "status": "locked",
 "spec": {
 "containerGroups": [{
 "containers": [{
 "imageUri": "your-registry/agent-service:latest",
 "port": 8080,
 "primary": true,
 "entrypoint": ["python", "server.py"],
 "resourceRequest": {"cpu": 1, "memory": 536870912},
 "readinessProbe": {"path": "/readyz", "port": 8080}
 }] }]
 }
 },
 "runtime": {
 "replicaCount": 2,
 "autoscaling": {
 "enabled": true,
 "policies": [{
 "scalingMetric": "inferenceQueueDepth",
 "target": 70,
 "minCount": 1,
 "maxCount": 5
 }] }
 }
 }'

Workload API를 사용하여 컨테이너화된 에이전트 서비스를 오토스케일링 정책과 함께 배포하는 예시

에이전트 구축 도구인 NAT(Node Architecture Tooling)를 통해 YAML 형식으로 에이전트 노드를 구조화하고 테스트 가능한 단계로 정의할 수 있다. LangChain, CrewAI, LlamaIndex 등 주요 프레임워크와 MCP(Model Context Protocol)를 기본 지원하여 데이터 및 도구와의 상호작용을 간소화한다.

yaml

functions:
  planner:
    _type: chat_completion
    llm_name: datarobot_llm
    system_prompt: |
      You are a content planner. You create brief, structured outlines for blog articles.
  writer:
    _type: chat_completion
    llm_name: datarobot_llm
    system_prompt: |
      You are a content writer working with a planner colleague.
content_writer_pipeline:
  _type: sequential_executor
  tool_list: [planner, writer]
workflow:
  _type: tool_calling_agent
  llm_name: datarobot_llm
  tool_names:
    - content_writer_pipeline

NAT(Node Architecture Tooling)를 사용하여 플래너와 라이터 노드로 구성된 순차적 에이전트 워크플로우를 정의하는 YAML 설정

DataRobot에서 제공하는 다양한 AI 애플리케이션 템플릿 목록 — ScreenshotAgentic Starter, Talk to My Docs, Predictive AI Starter 등 실무에 즉시 적용 가능한 7가지 템플릿과 각 템플릿의 GitHub 링크 및 요구사항(GenAI, MLOps)을 명시하고 있다.

실무 Takeaway

Nebius의 Token Factory를 실험 단계에서 활용하면 사용한 토큰만큼만 비용을 지불하여 초기 인프라 구축 비용 없이 신속하게 에이전트를 프로토타이핑할 수 있다.
Workload API를 사용하면 복잡한 에이전트 시스템을 컨테이너화하여 배포할 때 RBAC, 감사 추적, 오토스케일링이 포함된 거버넌스 엔드포인트를 즉시 생성할 수 있다.
LLM-as-a-Judge 및 골든 데이터셋 기반의 평가 프레임워크를 도입하여 에이전트의 답변 정확도와 브랜드 가이드라인 준수 여부를 정량적으로 검증해야 한다.

언급된 리소스

문서DataRobot Agent Workforce Platform

문서Nebius AI Cloud

curl -X POST "${DATAROBOT_API_ENDPOINT}/workloads/" \ -H "Authorization: Bearer ${DATAROBOT_API_TOKEN}" \ -H "Content-Type: application/json" \ -d '{ "name": "agent-service", "importance": "HIGH", "artifact": { "name": "agent-service-v1", "status": "locked", "spec": { "containerGroups": [{ "containers": [{ "imageUri": "your-registry/agent-service:latest", "port": 8080, "primary": true, "entrypoint": ["python", "server.py"], "resourceRequest": {"cpu": 1, "memory": 536870912}, "readinessProbe": {"path": "/readyz", "port": 8080} }] }] } }, "runtime": { "replicaCount": 2, "autoscaling": { "enabled": true, "policies": [{ "scalingMetric": "inferenceQueueDepth", "target": 70, "minCount": 1, "maxCount": 5 }] } } }'

functions: planner: _type: chat_completion llm_name: datarobot_llm system_prompt: | You are a content planner. You create brief, structured outlines for blog articles. writer: _type: chat_completion llm_name: datarobot_llm system_prompt: | You are a content writer working with a planner colleague. content_writer_pipeline: _type: sequential_executor tool_list: [planner, writer] workflow: _type: tool_calling_agent llm_name: datarobot_llm tool_names: - content_writer_pipeline

DataRobot과 Nebius: 에이전트에 최적화된 기업용 AI Factory 출시

핵심 요약

배경

대상 독자

의미 / 영향

섹션별 상세

실무 Takeaway

언급된 리소스

DataRobot과 Nebius: 에이전트에 최적화된 기업용 AI Factory 출시

핵심 요약

배경

대상 독자

의미 / 영향

섹션별 상세

실무 Takeaway

언급된 리소스

관련 피드

관련 토론

댓글

관련 피드

관련 토론

댓글