Databricks와 NVIDIA, 엔터프라이즈 AI 플랫폼 협력 확대

섹션별 상세

Databricks AI Runtime(AIR)은 NVIDIA Hopper GPU와 Quantum InfiniBand를 통합하여 멀티노드 분산 학습의 병목 현상을 제거한다.

Databricks Free Edition에 GPU 지원이 추가되어 개발자와 스타트업이 AI 워크로드를 구축하고 배포할 수 있다.

Model Serving은 Triton Inference Server를 통해 저지연, 고처리량 추론을 지원하며 최적화된 성능을 제공한다.

NVIDIA Vera CPU는 에이전트 워크로드, 강화학습, 데이터 분석에 특화되어 에이전트 오케스트레이션과 도구 호출 성능을 향상한다.

Databricks Apps를 통해 NVIDIA Agent Toolkit을 호스팅하여 가드레일, 도구 사용, RAG, 다단계 추론 기능을 구현한다.

Genie Code는 NVIDIA 하드웨어와 소프트웨어(CUDA, cuDNN, NCCL)에 특화된 기술을 바탕으로 GPU 워크로드 디버깅과 성능 최적화를 지원한다.

의료 영상(MONAI), 신약 개발(BioNeMo), 로봇 시뮬레이션(Isaac Sim) 등 산업별 NVIDIA 가속 프레임워크를 Databricks 데이터와 결합하여 활용한다.

에이전트 AI(Agentic AI): — 자율적으로 도구를 사용하고 다단계 추론을 수행하여 복잡한 작업을 처리하는 AI 시스템. 모델 추론뿐만 아니라 CPU 기반의 오케스트레이션과 데이터 분석이 핵심적인 역할을 수행한다.
멀티노드 학습(Multinode Training): — 여러 대의 컴퓨팅 노드를 연결하여 대규모 모델을 분산 학습하는 방식. 고대역폭 네트워크를 통해 노드 간 통신 병목을 최소화하는 것이 성능의 핵심이다.
Triton 추론 서버(Triton Inference Server): — NVIDIA에서 제공하는 오픈소스 추론 서빙 소프트웨어. 다양한 프레임워크를 지원하며 동적 배치 처리와 최적화된 성능으로 고처리량 추론을 가능하게 한다.