DataRobot과 Nebius: 에이전트에 최적화된 기업용 AI Factory 출시

섹션별 상세

Nebius AI Cloud는 하드웨어 계층부터 AI 전용으로 설계되어 가상화 오버헤드 없이 베어메탈 급의 성능과 낮은 지연 시간을 제공한다. H100, B200 등 최신 NVIDIA GPU 클러스터와 InfiniBand RDMA 네트워킹을 지원하여 대규모 에이전트 워크로드의 예측 가능한 처리량을 보장한다.

DataRobot Agent Workforce Platform은 에이전트의 전체 수명 주기를 관리하며, 50개 이상의 NVIDIA NIM 및 Hugging Face 모델을 클릭 몇 번으로 배포할 수 있는 기능을 갖추고 있다. Workload API를 통해 LLM뿐만 아니라 컨테이너화된 에이전트, 애플리케이션, 복합 시스템을 단일 명령으로 배포하고 오토스케일링을 적용할 수 있다.

NVIDIA NGC에서 NIM 모델을 DataRobot으로 임포트하는 인터페이스 화면 — ScreenshotNVIDIA NGC 갤러리에서 Nemotron-3-Nano와 같은 모델을 선택하고 성능 프로필 및 GPU 리소스 번들을 확인하여 4번의 클릭만으로 배포할 수 있는 과정을 보여준다.

DataRobot Registry에서 모델을 추가하고 Proxy 설정을 구성하는 화면 — Screenshot모델 이름을 지정하고 타겟 유형을 'Text Generation'으로 설정하여 외부 모델을 프록시 형태로 등록하는 구체적인 설정 단계를 나타낸다.

거버넌스와 모니터링 측면에서는 OpenTelemetry(OTel) 표준을 채택하여 로그, 메트릭, 트레이스를 통합 관리한다. 에이전트 작업 준수도(Task Adherence) 및 정확도와 같은 특화된 지표를 제공하며, PII 탐지, 프롬프트 인젝션 방지 등 실시간 보안 개입 기능을 포함한다.

bash

curl -X POST "${DATAROBOT_API_ENDPOINT}/workloads/" \
 -H "Authorization: Bearer ${DATAROBOT_API_TOKEN}" \
 -H "Content-Type: application/json" \
 -d '{
 "name": "agent-service",
 "importance": "HIGH",
 "artifact": {
 "name": "agent-service-v1",
 "status": "locked",
 "spec": {
 "containerGroups": [{
 "containers": [{
 "imageUri": "your-registry/agent-service:latest",
 "port": 8080,
 "primary": true,
 "entrypoint": ["python", "server.py"],
 "resourceRequest": {"cpu": 1, "memory": 536870912},
 "readinessProbe": {"path": "/readyz", "port": 8080}
 }] }]
 }
 },
 "runtime": {
 "replicaCount": 2,
 "autoscaling": {
 "enabled": true,
 "policies": [{
 "scalingMetric": "inferenceQueueDepth",
 "target": 70,
 "minCount": 1,
 "maxCount": 5
 }] }
 }
 }'

Workload API를 사용하여 컨테이너화된 에이전트 서비스를 오토스케일링 정책과 함께 배포하는 예시

에이전트 구축 도구인 NAT(Node Architecture Tooling)를 통해 YAML 형식으로 에이전트 노드를 구조화하고 테스트 가능한 단계로 정의할 수 있다. LangChain, CrewAI, LlamaIndex 등 주요 프레임워크와 MCP(Model Context Protocol)를 기본 지원하여 데이터 및 도구와의 상호작용을 간소화한다.

yaml

functions:
  planner:
    _type: chat_completion
    llm_name: datarobot_llm
    system_prompt: |
      You are a content planner. You create brief, structured outlines for blog articles.
  writer:
    _type: chat_completion
    llm_name: datarobot_llm
    system_prompt: |
      You are a content writer working with a planner colleague.
content_writer_pipeline:
  _type: sequential_executor
  tool_list: [planner, writer]
workflow:
  _type: tool_calling_agent
  llm_name: datarobot_llm
  tool_names:
    - content_writer_pipeline

NAT(Node Architecture Tooling)를 사용하여 플래너와 라이터 노드로 구성된 순차적 에이전트 워크플로우를 정의하는 YAML 설정

DataRobot에서 제공하는 다양한 AI 애플리케이션 템플릿 목록 — ScreenshotAgentic Starter, Talk to My Docs, Predictive AI Starter 등 실무에 즉시 적용 가능한 7가지 템플릿과 각 템플릿의 GitHub 링크 및 요구사항(GenAI, MLOps)을 명시하고 있다.

용어 해설

모델 컨텍스트 프로토콜(MCP): — AI 모델이 데이터 소스 및 도구와 상호작용하는 방식을 표준화하는 개방형 프로토콜이다. 에이전트가 외부 데이터베이스나 API에 안전하고 일관되게 접근할 수 있도록 설계되어 개발 복잡성을 낮춘다.
오픈텔레메트리(OpenTelemetry): — 로그, 메트릭, 트레이스 등 원격 측정 데이터를 생성, 수집, 관리하기 위한 오픈소스 프레임워크이다. 클라우드 네이티브 환경에서 분산된 시스템의 성능과 상태를 관찰 가능하게 만드는 업계 표준이다.
베어메탈(Bare Metal): — 가상화 계층(Hypervisor) 없이 하드웨어에 직접 운영체제를 설치하여 실행하는 방식이다. 가상화로 인한 오버헤드가 없어 AI 학습 및 추론과 같이 고성능 연산이 필요한 작업에서 최대의 성능을 발휘한다.
역할 기반 액세스 제어(RBAC): — 개별 사용자가 아닌 조직 내 역할에 따라 시스템 자원에 대한 접근 권한을 부여하는 보안 모델이다. 최소 권한 원칙을 적용하여 기업 내 데이터 보안과 규정 준수를 강화하는 데 필수적이다.

기술

DataRobot
Nebius AI Cloud
NVIDIA NIM
OpenTelemetry
LangChain
CrewAI
LlamaIndex
MCP

활용 사례

기업용 멀티 에이전트 애플리케이션 배포
실시간 모니터링이 포함된 RAG 시스템 운영
보안 및 규정 준수가 필수적인 금융/의료 AI 에이전트

언급된 리소스

문서DataRobot Agent Workforce Platform

문서Nebius AI Cloud