로봇 조작을 위한 월드 기반 가치 모델

로봇 학습에서 각 프레임의 '진행도(value)'를 정확히 추정하면 저품질 데이터(망설임, 재시도)를 자동으로 걸러 정책 학습 효율을 높일 수 있다. 기존 VLM 기반 접근은 시공간 정보가 부족해 장단기 temporal 패턴(plateau, regression)을 잘 포착하지 못하는 반면, 월드 모델은 미래 예측 능력을 통해 더 정확한 진행도 추론을 제공한다.

문제 출발점과 기존 한계: 로봇 조작에서 value function은 현재 관찰에서 향후 보상(또는 남은 진행도)을 예측하는 함수다. 전통적 scalar 회귀 방식은 각 프레임에 대한 단일 값만 제공해 학습 신호가 희박하고, VLM 기반 백본은 주로 정적 또는 시공간적 희박 관측에 최적화되어 있어 연속적 temporal 패턴(예: 무진행 plateau, 역행 regression)을 포착하기 어렵다.

전체 접근과 핵심 아이디어: WVM은 pretrained video world model의 시공간 표현을 value 추정에 재활용한다. 구체적으로 Wan2.2의 video VAE와 video DiT를 사용해 (prefix frame ∥ current frames ∥ future frames)의 2h+1 길이 클립을 latent로 인코딩하고, 이 video latent들을 value DiT가 참조해 길이-h value chunk를 예측한다. value DiT는 video DiT와 Mixture-of-Transformers(MoT)로 결합되며 asymmetric attention을 적용해 value→video 방향의 간섭을 차단한다.

메인 벤치마크 성능: Suboptimal-Value-Bench에서 WVM은 Hesitation-RMSE 평균 0.05(기준최강 0.14 대비 개선)과 Retry-VOC 평균 0.78(기준 0.62 대비 향상)을 기록했다. Expert-VOC 평균은 0.95로, 여러 공개·자가수집 세트에서 최상위 성능을 보였다. Ablation: video co-training(Lvideo) 제거 시 Hesitation-RMSE는 0.05→0.08, Retry-VOC는 0.78→0.68로 성능 하락이 관찰됐다; video DiT를 무작위 초기화하거나 완전 동결하면 추가 성능 저하가 발생했다. Prefix randomization(p)의 영향: p=0(없음)일 때 과도하게 prefix에 의존해 Suboptimal 지표가 악화되며(예: Hesitation-RMSE 0.09, Retry-VOC 0.67), p=1(완전 마스킹)은 Expert-VOC를 떨어뜨렸다. Downstream 정책 영향: WVM 기반 값으로 Filtered BC(adv >0, top-70%)와 AWR를 적용하면 vanilla BC 대비 시뮬·실물 작업에서 성공률이 일관되게 향상되었다 (평가: RoboSuite 50 롤아웃, AgileX 30 롤아웃).

아키텍처 구조: 비디오 스트림은 Wan2.2 기반의 Video VAE(시공간 압축비 4×16×16, 48-channel latent, patch size (1,2,2))와 30-layer video DiT(hidden 3072, 24 heads, FFN 14336, 약 5.0B 파라미터)을 사용한다. value DiT는 동일한 depth(30-layer)를 유지하되 hidden width를 512로 축소하고 8 attention heads를 사용해 약 0.7B의 추가 파라미터를 더해 전체 두-스트림 모델이 약 5.7B 파라미터가 된다. 각 레이어에서 MoT를 적용해 value 토큰이 video 토큰을 참조하도록 하고 video→value의 영향은 차단하는 asymmetric attention mask를 사용한다.

논문에서 명시한 한계는 (1) 훈련 데이터 규모 제한으로 완전한 zero-shot 일반화 능력이 제한적이며, (2) Suboptimal-Value-Bench의 작업 범위가 주로 pick-and-place 위주로 장기·고난이도 조작(dexterous, long-horizon)으로의 확장이 필요하다는 점이다.