NVIDIA Cosmos 3: 물리 AI 추론 및 행동을 위한 최초의 오픈 옴니 모델

섹션별 상세

기존 물리 AI 모델은 생성, 추론, 정책 결정이 분리되어 파이프라인 관리가 복잡했다. Cosmos 3는 이를 단일 Mixture-of-Transformers(MoT) 아키텍처로 통합하여 추론과 생성을 동시에 수행한다.

입력 데이터는 텍스트, 이미지, 비디오, 오디오, 행동으로 구성되며, 모델은 이를 공유 표현 공간으로 투영한다. 내부적으로는 자율 회귀(AR) 서브시퀀스가 추론을, 확산(DM) 서브시퀀스가 생성을 담당하여 물리적 인과관계를 예측한다.

Cosmos 3의 Mixture-of-Transformers(MoT) 아키텍처 구조도. — Diagram텍스트, 이미지, 비디오, 오디오, 행동 입력을 처리하는 인코더와 자율 회귀(AR) 및 확산(DM) 서브시퀀스의 상호작용을 보여준다. 단일 모델 내에서 추론과 생성이 어떻게 통합되는지 시각화한다.

Cosmos 3 Nano(8B)는 워크스테이션급 GPU에서 효율적인 추론을 지원하며, Cosmos 3 Super(32B)는 대규모 합성 데이터 생성 및 연구용으로 설계됐다. 두 모델 모두 Hugging Face에 공개되어 즉시 배포 가능하다.

python

import torch
from diffusers import Cosmos3OmniPipeline

pipe = Cosmos3OmniPipeline.from_pretrained(
    "nvidia/Cosmos3-Nano",
    torch_dtype=torch.bfloat16,
    device_map="cuda"
)

prompt = (
    "A medium shot of a modern robotics research laboratory with white walls and a gray floor. "
    "A robotic arm with a metallic finish is mounted on a clean white workbench, its gripper positioned "
    "above a row of small colored objects. A laptop and neatly arranged tools sit beside the robot. "
    "A large monitor on the wall behind displays a software interface. The scene is brightly lit by "
    "overhead fluorescent lights."
)

result = pipe(prompt=prompt, num_frames=1, height=720, width=1280)
result.video[0].save("cosmos3_t2i.jpg", format="JPEG", quality=85)

Cosmos 3 Nano 모델을 사용하여 텍스트로부터 이미지를 생성하는 파이프라인 실행 예시

NVIDIA는 물리 AI 커뮤니티를 위해 로봇, 물리 시뮬레이션, 공간 추론, 자율 주행 등 다양한 도메인의 합성 데이터 생성(SDG) 데이터셋을 함께 제공한다. 이를 통해 특정 환경에 맞는 모델의 추가 학습(Post-training)이 가능하다.

용어 해설

세계 기초 모델(World Foundation Model): — 물리적 세계의 법칙, 인과관계, 공간적 특성을 이해하고 시뮬레이션하도록 설계된 AI 모델이다. 단순 텍스트 생성을 넘어 물리적 환경에서의 행동 예측과 추론을 수행한다.
Mixture-of-Transformers: — 다양한 모달리티(텍스트, 이미지, 비디오 등)를 단일 아키텍처 내에서 효율적으로 처리하기 위해 여러 트랜스포머 구조를 결합한 방식이다. Cosmos 3에서 추론과 생성 기능을 통합하는 핵심 아키텍처로 사용된다.
합성 데이터 생성(Synthetic Data Generation): — 실제 데이터 대신 AI 모델을 사용하여 인공적으로 생성한 학습 데이터이다. 물리 AI 모델의 학습 및 평가를 위해 로봇 시뮬레이션, 자율 주행 환경 등을 가상으로 구현하는 데 활용된다.

기술

Cosmos 3
Diffusers
PyTorch

활용 사례

로봇 제어
자율 주행 시뮬레이션
합성 데이터 생성
물리적 추론

언급된 리소스

GitHubCosmos 3 GitHub

논문Cosmos 3 Technical Paper

API DocsCosmos 3 Diffusers Documentation