월드 모델의 환각은 예측 가능하며 예방할 수 있다

대형 시각적 월드 모델이 생성하는 미래 예측이 시각적으로 그럴듯해도 실제 동적 행동과 어긋나면 제어 결정에 치명적인 오류가 발생한다. 이 논문은 그러한 환각이 구조적 결함이 아니라 데이터 커버리지 부족에서 기인한다는 사실을 밝혀내고, 데이터 분석 신호를 이용해 환각을 런타임에 감지하고 표적 수집으로 빠르게 보완하는 절차를 제시했다. 결과적으로 적은 양의 추가 실제 궤적만으로도 사전학습된 모델을 미지 환경에 효율적으로 적응시킬 수 있음을 보였다.

월드 모델은 관찰을 잠재로 인코딩하는 토크나이저, 행동 조건화된 dynamics 예측기, 그리고 잠재를 다시 픽셀로 변환하는 디코더로 구성된 연쇄적 함수이다. 각 단계는 유한한 상태-행동 샘플로 학습되므로 관찰 분포의 외곽 영역을 요청받으면 단계별로 서로 다른 방식의 오류를 일으킬 수 있다. 따라서 환각은 단순히 파라미터 부족이나 아키텍처 문제만이 아니라 데이터 커버리지의 기능적 결과로 이해해야 한다.

전체 접근은 세 축으로 구성된다: 대규모 멀티태스크 데이터셋 구축, 350M 파라미터 수준의 Dreamer 4风 구조 학습, 그리고 라벨 없이 계산 가능한 환각 예측 지표를 이용한 훈련 및 수집 개입이다. 토크나이저는 symmetric encoder-decoder Transformer로 설계되며 패치화(stride 14)된 224×224 프레임을 64×64 차원의 잠재로 투사한다. dynamics는 block-causal Transformer로 32개의 공간 잠재, 행동 토큰, 레지스터 토큰을 시퀀스로 입력받고 shortcut flow-matching 목표로 학습되어 추론 시 4개의 Euler 서브스텝으로 다음 프레임 샘플링이 가능하다.

제안한 세 예측자는 open-loop 롤아웃 ΔPSNR과의 Spearman 상관계수에서 약 ρ≈0.80을 기록하여 높은 예측력을 보였다. coverage-aware training을 토크나이저와 dynamics 모두에 적용했을 때 롤아웃 ΔPSNR이 +0.88 dB로 최대 개선되었고 u_r^norm, u_f^norm, u_s^norm이 각각 −0.20, −0.07, −0.14로 감소했다. 표적 데이터 수집 실험에서 human play와 expert 수집은 미지 작업에서 평균 정상화 성능 0.362를 달성했으며 u_r^norm 기반 curiosity로 50개 트래젝토리 수집 시 성능 0.325를 기록해 제한된 데이터로도 상당한 성능 향상을 얻을 수 있음을 보였다.

아키텍처는 세 부분으로 분리된다: 50M 파라미터의 encoder, 50M 파라미터의 decoder, 그리고 250M 파라미터의 block-causal Transformer dynamics로 총 약 350M 파라미터다. 토크나이저는 패치화(stride 14)로 프레임을 분할하고 64개의 learnable latent queries를 포함하여 출력 잠재 z∈[−1,1]^{64×64}를 생성한다. dynamics의 입력은 행동 토큰(16차원 패딩, 2-layer MLP), shortcut-conditioning 토큰(σ와 step size 인코딩), 32 packed spatial latents, 4 register tokens 등으로 구성되며 flow-matching 목표로 학습된다.

연구는 350M 파라미터 규모와 시뮬레이션 기반의 210개 작업에 국한되어 있어 수십억 파라미터급 모델이나 실제 로봇 센서 노이즈가 있는 데이터에 그대로 일반화된다고 단정할 수 없다. 또한 월드 모델 학습과 실험에는 상당한 계산 자원이 필요하며 이는 실무 적용의 제약 요인으로 남는다. 논문 자체에서 더 많은 환경 다양성과 실제 데이터에 대한 추가 검증이 필요함을 명시하고 있다.