구글 Genie3 vs 엔비디아 Cosmos-Predict2.5: Physical AI를 위한 월드 모델 완벽 비교

• •현실 세계 학습의 비용, 시간, 위험 문제를 해결하기 위한 대안으로 World Model이 부상했다
• •기존 물리 엔진 기반 시뮬레이터의 한계를 데이터 기반의 확률적 예측 모델로 극복한다

• •Latent Action Model을 통해 행동 라벨 없이도 영상 속 객체의 조작 방식을 스스로 학습한다
• •ST-Transformer를 활용해 토큰 하나에 시간적 흐름과 상태 정보를 함께 인코딩한다

VQ-VAE는 고차원의 이미지 데이터를 저차원의 이산적인 벡터(토큰)로 압축하여 효율적으로 처리하게 돕는 모델이다.

• •다단계 데이터 큐레이션 파이프라인을 통해 물리적으로 일관된 고품질 학습 데이터를 확보했다
• •강화학습 기반의 사후 학습을 통해 생성된 영상의 물리적 신뢰성을 보정하고 성능을 개선했다

Diffusion Transformer(DiT)는 확산 모델의 생성 능력과 트랜스포머의 확장성을 결합하여 고품질 데이터를 생성하는 구조이다.

• •Genie3는 행동의 개념 형성을 담당하고 Cosmos-Predict2.5는 행동 결과의 예측 및 검증을 담당한다
• •두 월드 모델의 직렬 연결을 통해 로봇의 범용 지능 학습 효율을 극대화할 수 있다