일반 세계 모델의 정의 원칙으로서의 일관성의 삼위일체

기존 영상 생성 모델이 겉보기에는 그럴듯하지만 물리 법칙을 어기는 한계를 극복하기 위해, 의미·기하·인과라는 세 가지 핵심 일관성을 정의했다. 이를 통해 AI가 단순한 이미지 생성을 넘어 실제 세계를 시뮬레이션하는 '세계 모델'로 진화할 수 있는 이론적 토대와 엄격한 평가 기준을 제공한다.

딥러닝에서 Embedding은 서로 다른 데이터를 공통된 수치 공간에 배치하는 기초 개념이다. 기존의 영상 생성 모델은 이러한 Embedding 공간에서 픽셀 간의 통계적 상관관계는 잘 파악하지만, 중력이나 충돌 같은 물리적 법칙을 내면화하지 못해 '서툰 물리학자'처럼 행동하는 한계가 있다. 본 논문은 이 문제를 해결하기 위해 세 가지 차원의 일관성을 통합해야 한다고 본다.

첫째, Modal Consistency는 텍스트와 영상 같은 서로 다른 데이터가 하나의 의미 공간에서 일치해야 함을 의미한다. 둘째, Spatial Consistency는 3D 기하학적 구조와 객체의 영속성을 유지하는 기하학적 토대이다. 셋째, Temporal Consistency는 시간 흐름에 따른 인과 관계를 따르는 동적 엔진 역할을 한다. 이 세 가지가 결합될 때 AI는 단순히 픽셀을 그리는 수준을 넘어, 기초적인 물리 법칙을 이해하고 추론하는 진정한 세계 모델로 거듭나게 된다.

전체 접근 방식은 개별적으로 발전해온 의미·공간·시간 모델링 기법을 Unified Multimodal Model(UMM) 아키텍처로 통합하는 것이다. 이를 위해 각 일관성 차원에서의 기술적 진화 과정을 분석하고 통합 모델의 설계 원칙을 도출했다.

Modal Consistency는 CLIP과 같은 Dual-Tower 구조에서 시작해, 현재는 텍스트와 이미지 가중치를 분리하여 그래디언트 충돌을 최소화하는 MM-DiT(Multi-Modal Diffusion Transformer) 구조로 진화했다. Spatial Consistency는 2D 이미지 평면에서의 근사치를 넘어 NeRF와 같은 Implicit Continuous Fields를 거쳐, 실시간 렌더링과 물리적 제어에 유리한 3D Gaussian Splatting(3DGS) 기반의 Explicit Lagrangian Primitives 방식으로 발전했다.

Temporal Consistency는 기존의 프레임 보간 방식에서 탈피하여, Flow Matching 기법을 통해 노이즈에서 데이터로 가는 최적의 경로를 선형적으로 학습함으로써 물리적 보존 법칙을 따르는 동역학을 구현했다. [노이즈 z0와 데이터 z1 사이의 선형 보간 xt → 속도 벡터 vt = z1 - z0 회귀 → 물리적 보존성을 갖는 동적 궤적 생성] 순으로 연산이 이루어진다.

CoW-Bench는 이러한 세 가지 축과 그 교차점(예: M x S, S x T)을 18개 서브 태스크로 나누어, 모델이 제약 조건을 얼마나 충실히 이행하는지 0~2점 척도로 정밀하게 측정한다. 각 태스크는 물리적 상태의 Ground Truth를 기반으로 하여 주관적인 시각적 품질 평가의 한계를 극복했다.

CoW-Bench 평가 결과, GPT-image-1.5와 같은 최신 폐쇄형 이미지 생성 모델이 정적인 세계 규칙을 잘 파악하여 가장 높은 평균 점수(85.62점)를 기록했다. 반면 Sora(73.66점)나 Kling(73.96점) 같은 영상 생성 모델은 시각적 연속성은 뛰어나지만, 복잡한 규칙을 따르는 진화(T-Rule)나 다단계 상태 전이(T-Stage-Order) 과제에서는 점수가 급격히 하락하는 양상을 보였다.

특히 오픈소스 모델들은 드문 제약 조건을 일반적인 기본값으로 대체해버리는 'Constraint-backoff' 현상이 빈번하게 발생했다. 예를 들어, 복잡한 물리적 상호작용이 필요한 태스크에서 모델이 배경은 잘 유지하지만 의도된 동작을 수행하지 못하는 Semantically Incorrect한 결과를 내놓는 경우가 많았다. 이는 현재의 모델들이 픽셀 통계에는 능숙하지만 진정한 의미의 물리적 추론 능력은 여전히 부족함을 시사한다.

아키텍처 측면에서 MM-DiT는 텍스트와 이미지 모달리티에 대해 독립적인 가중치 세트를 유지하며 Attention 연산 시에만 데이터를 교환하여, 서로 다른 모달리티 간의 Hessian 행렬을 블록 대각 구조로 강제함으로써 최적화 안정성을 높였다.

공간 모델링에서는 Radiative Transfer Equation(RTE)의 이산화된 해를 구하는 방식을 취하며, 3DGS를 통해 그래디언트가 MLP를 거치지 않고 기하학적 파라미터로 직접 역전파되도록 설계하여 수렴 효율을 극대화했다. [3D 가우시안 파라미터 → 2D 화면 투영 및 정렬 → 알파 블렌딩 렌더링 → 픽셀 오차의 직접적 파라미터 업데이트] 과정을 통해 실시간성을 확보했다.

시간적 일관성을 위해서는 Causal 3D VAE를 도입하여 미래 정보가 현재 프레임으로 유출되는 것을 방지하고, 3D-RoPE를 활용한 Full Sequence Joint Attention을 통해 장거리 물리적 상호작용을 캡처한다. 이는 Navier-Stokes 방정식의 대류항과 장거리 상관관계를 근사하는 데 필수적인 구조적 특징이다.

현재 모델들은 물리적 실체의 미분 가능성이 부족하여 실제 벡터 역학보다는 통계적 질감을 학습하는 수준에 머물러 있다. 또한, 수십 초 수준의 단기 기억을 넘어 시간-일 단위의 장기적 인과 체인을 유지할 때 발생하는 에러 누적 문제(Butterfly Effect)가 아직 해결되지 않았다.