RynnWorld-4D: 로봇 조작을 위한 동기화된 RGB-DF 4D 체현형 월드 모델

로봇 조작에 필요한 행동은 3차원 공간에서의 정밀한 위치 및 시간적 연속성에 의존하기 때문에 단순한 2D 픽셀 예측만으로는 제어 신뢰성을 확보하기 어렵다. RynnWorld-4D는 색상, 깊이, 광류를 동기화해 기하학과 운동을 명시적으로 표현하므로 예측 피처가 로봇의 엔드이펙터 행동과 더 가깝게 매핑된다. 이로 인해 정책이 예측된 4D 표현을 직접 소비해 고주파 폐쇄형 제어를 수행할 수 있는 실용적 연결고리가 마련되었다.

세계 모델이 로봇 제어에 유용하려면 단순한 색상 변화에 대한 픽셀 예측을 넘어 장면의 기하학적 구조와 시간적 운동을 명시적으로 포착해야 한다. RGB-D 입력은 각 픽을 3D 위치로 역투영할 수 있는 깊이를 제공하며 광류는 시간 기준의 픽 대응을 연결하므로 두 정보를 결합하면 측정 단위의 3D 장면 흐름을 얻을 수 있다. 이 논문은 이 결합 표현이 로봇의 엔드이펙터 동작과 자연스럽게 연결되는 표현 공간을 제공한다고 본다.

전체 설계는 사전 학습된 비디오 확산 백본을 기반으로 RGB, 깊이, 광류의 세 분기를 갖는 트랜스포머로 확장하는 구조를 따른다. 각 분기는 자체 self-attention과 FFN을 유지해 모달 특성에 맞춘 표현을 학습하며 주기적으로 삽입되는 Joint Cross-Modal Attention 모듈이 다른 두 분기의 key/value를 사용해 동일 프레임 내 픽 단위의 교차 모달 정렬을 수행한다. 학습은 세 단계로 구성되어 첫 단계에서 분기별 적응을 통해 각 모달리티의 분포를 안정화하고 두 번째 단계에서 동결된 백본에 JA를 추가해 교차 모달 정합을 학습한 뒤 세 번째 단계에서 전체 파라미터를 미세조정해 최종 동기화를 달성했다.

4D 월드 모델 평가에서 RynnWorld-4D는 기존 비디오 생성 모델과 비교해 시각적 충실도는 유지하면서 깊이 및 운동 측정치에서 우수한 성능을 보였다. 논문 표에 따르면 δ1은 0.610을 기록해 이전 4D 모델보다 큰 폭으로 개선되었고 AEPE는 0.170으로 동적 정확성이 확보되었다. 정책 측면에서는 RynnWorld-4D-Policy가 Lid Placement와 Bowl Stacking 같은 고정밀 과제에서 약 65.7%의 성공률을 기록하며 Diffusion Policy 등 기존 접근보다 일관된 우위를 보였다.

모델 아키텍처는 Wan-2.2-TI2V-5B를 기반으로 30개 트랜스포머 블록을 유지하면서 각 모달리티별로 분기해 총 세 개의 분기별 패치 임베딩, self-attention, LayerNorm, FFN을 복제해 초기화했다. Joint Cross-Modal Attention 모듈은 3층 간격(레이어 0,3,6,...,27)에 삽입되어 총 10개의 JA 모듈을 구성하며 각 JA는 쿼리로 한 분기의 토큰을, 합쳐진 K/V로 나머지 두 분기의 정보를 사용해 같은 시간 프레임 내에서만 교차 주의를 수행한다. 위치 인코딩으로는 3D RoPE를 적용해 픽 단위의 공간 정렬을 유지했고 초기화 전략으로는 출력 투영을 0으로 두고 게이트를 1로 둬 학습 초기에 잔차 경로가 안정적으로 작동하도록 설계했다.

첫째로 확산 기반 4D 시퀀스 생성은 계산 비용이 높아 모델의 전방향 예측 단계가 전체 추론 지연의 대부분을 차지했다. 실험 환경에서 전체 포워드 패스는 약 1.1초의 사이클 타임을 기록해 유효 제어 빈도는 약 9Hz 수준으로 제한되며 초고주파의 저수준 제어에는 적합하지 않다. 둘째로 데이터 구성과 모델 설계가 주로 에고센트릭 단일 뷰에 최적화되어 있어 다중 뷰나 협업 다중 로봇 환경으로 일반화하는 데 추가 연구가 필요하다.