TL;DR

이 레포는 NVIDIA Cosmos-Dreams의 추론 앱이 아니라 자율주행용 world model을 Fine-tuning하는 연구용 post-training 샘플과 모델 릴리스 트리입니다. 단일 RGB 프레임, text prompt, HD map 이미지, trajectory poses를 조건으로 넣어 multi-camera photorealistic video를 청크 단위로 생성하는 구조를 전제로 합니다. student-init, bidirectional teacher, self-forcing distillation을 8-GPU 노드 또는 Slurm 클러스터에서 실행할 수 있습니다. 실시간 주행과 batch mp4 생성은 companion 프로젝트 FlashDreams에서 처리하며, 이 레포를 쓰려면 8장 GPU와 대용량 디스크, gated Hugging Face 접근 권한이 필요합니다.

핵심 포인트

• 이 레포는 NVIDIA Cosmos-Dreams의 연구용 post-training 샘플과 모델 릴리스 트리를 담은 Python 레포입니다. 추론과 실시간 주행 데모는 별도 프로젝트인 FlashDreams로 이동했습니다. 따라서 바로 영상을 생성하는 독립형 CLI보다 Fine-tuning과 재현 가능한 연구 실험에 적합합니다.
• 모델은 단일 RGB 프레임과 초기 text prompt를 시작점으로 사용합니다. 각 생성 청크에 HD map 이미지와 trajectory poses를 조건으로 넣고, 이전 청크를 다음 입력으로 되먹여 시간에 따른 multi-camera 영상을 autoregressive하게 만듭니다. 자율주행 시뮬레이션의 장면 외형과 주행 경로를 함께 제어하려는 용도입니다.
• samples/post-training은 Cosmos2 SV-HDMap world model을 Fine-tuning하는 실행기와 설정을 포함합니다. student-init, bidirectional teacher, self-forcing distillation 실험을 단일 8-GPU 노드나 Slurm 클러스터에서 실행합니다. QUICKSTART.md는 인증, 체크포인트 준비, 샘플 데이터 준비, 세 가지 실험 실행 순서를 다룹니다.
• 최소 지원 환경은 Ampere 또는 Hopper GPU 8장으로 구성된 노드이며 NPROC=8보다 작은 설정은 지원하지 않습니다. 최소 150GB의 여유 디스크가 필요하고 200GB 이상이 권장되며, 검증 환경은 8x H100 80GB HBM3와 CUDA 12.8, NVIDIA driver 570.148.08입니다. gated Hugging Face 체크포인트와 nvidia/PhysicalAI-Autonomous-Vehicles-NuRec 데이터 접근 권한도 필요합니다.