드림월드: 비디오 생성에서의 통합 세계 모델링

비디오 생성 분야의 인상적인 발전에도 불구하고, 기존 모델들은 여전히 표면적인 그럴듯함에 머물러 있으며 세계에 대한 일관되고 통합된 이해가 부족합니다. 이전의 접근 방식들은 대개 단일 형태의 세계 관련 지식만을 포함하거나, 추가 지식을 도입하기 위해 경직된 정렬 전략에 의존했습니다. 그러나 단일 세계 지식을 정렬하는 것만으로는 물리적 상식, 3D 및 시간적 일관성 등 여러 이질적인 차원을 공동으로 모델링해야 하는 세계 모델을 구성하기에 불충분합니다. 이러한 한계를 해결하기 위해, 본 논문은 보완적인 세계 지식을 비디오 생성기에 통합하는 통합 프레임워크인 드림월드(DreamWorld)를 소개합니다. 드림월드는 공동 세계 모델링 패러다임(Joint World Modeling Paradigm)을 통해 비디오 픽셀과 파운데이션 모델(Foundation Model)의 특징을 공동으로 예측함으로써 시간적 역동성(Temporal Dynamics), 공간적 기하학(Spatial Geometry), 그리고 시맨틱 일관성(Semantic Consistency)을 포착합니다. 하지만 이러한 이질적인 목표들을 단순히 최적화하면 시각적 불안정성과 시간적 깜빡임(Temporal Flickering)이 발생할 수 있습니다. 이를 완화하기 위해 학습 과정에서 세계 수준의 제약 조건을 점진적으로 조절하는 일관된 제약 조건 어닐링(Consistent Constraint Annealing, CCA)과 추론 시 학습된 세계 사전 지식을 강제하는 다중 소스 내부 가이드(Multi-Source Inner-Guidance)를 제안합니다. 광범위한 평가 결과, 드림월드는 세계 일관성을 향상시켜 VBench에서 Wan2.1보다 2.26점 높은 성능을 기록했습니다.