로봇 조작을 위한 월드 기반 가치 모델

로봇 학습에서 각 프레임의 '진행도(value)'를 정확히 추정하면 저품질 데이터(망설임, 재시도)를 자동으로 걸러 정책 학습 효율을 높일 수 있다. 기존 VLM 기반 접근은 시공간 정보가 부족해 장단기 temporal 패턴(plateau, regression)을 잘 포착하지 못하는 반면, 월드 모델은 미래 예측 능력을 통해 더 정확한 진행도 추론을 제공한다.

왜 중요한가

핵심 기여

World Value Model (WVM) 설계

pretrained video world model(Wan2.2) 기반의 two-stream 구조를 도입해 video DiT와 lightweight value DiT를 Mixture-of-Transformers(MoT)로 결합했다. value 토큰은 video latent를 참조하되 video 스트림에는 간섭을 주지 않는 asymmetric attention을 적용했다.

분포적 value chunk 학습(Flow-matching 기반)

단일 스칼라 대신 길이-h의 per-frame value chunk를 연속 분포로 모델링하고 flow matching으로 학습해 밀도 표현력과 학습 신호 밀도를 확보했다. 이를 통해 plateau(무진행)와 regression(후퇴) 같은 로컬 시간 패턴을 포착했다.

Suboptimal-Value-Bench 공개

3개 embodiment, 15개 task, 800개 trajectory로 구성된 인간 라벨링 기반 벤치마크(밀집 프레임별 value 곡선), 주된 서브옵티멀 모드로 hesitation과 retry를 포함해 서브옵티멀 상황에서의 성능을 직접 평가할 수 있다.

실험적 검증 및 downstream 영향

Suboptimal-Value-Bench와 기존 Expert-VOC에서 SOTA 성능을 기록했고(WVM: Hesitation-RMSE avg 0.05, Retry-VOC avg 0.78, Expert-VOC avg 0.95), WVM 값을 활용한 Filtered BC/AWR 방식이 시뮬·실물 정책 파인튜닝 성능을 일관되게 개선했다.

핵심 아이디어 이해하기

문제 출발점과 기존 한계: 로봇 조작에서 value function은 현재 관찰에서 향후 보상(또는 남은 진행도)을 예측하는 함수다. 전통적 scalar 회귀 방식은 각 프레임에 대한 단일 값만 제공해 학습 신호가 희박하고, VLM 기반 백본은 주로 정적 또는 시공간적 희박 관측에 최적화되어 있어 연속적 temporal 패턴(예: 무진행 plateau, 역행 regression)을 포착하기 어렵다.

방법론

전체 접근과 핵심 아이디어: WVM은 pretrained video world model의 시공간 표현을 value 추정에 재활용한다. 구체적으로 Wan2.2의 video VAE와 video DiT를 사용해 (prefix frame ∥ current frames ∥ future frames)의 2h+1 길이 클립을 latent로 인코딩하고, 이 video latent들을 value DiT가 참조해 길이-h value chunk를 예측한다. value DiT는 video DiT와 Mixture-of-Transformers(MoT)로 결합되며 asymmetric attention을 적용해 value→video 방향의 간섭을 차단한다.

주요 결과

메인 벤치마크 성능: Suboptimal-Value-Bench에서 WVM은 Hesitation-RMSE 평균 0.05(기준최강 0.14 대비 개선)과 Retry-VOC 평균 0.78(기준 0.62 대비 향상)을 기록했다. Expert-VOC 평균은 0.95로, 여러 공개·자가수집 세트에서 최상위 성능을 보였다. Ablation: video co-training(Lvideo) 제거 시 Hesitation-RMSE는 0.05→0.08, Retry-VOC는 0.78→0.68로 성능 하락이 관찰됐다; video DiT를 무작위 초기화하거나 완전 동결하면 추가 성능 저하가 발생했다. Prefix randomization(p)의 영향: p=0(없음)일 때 과도하게 prefix에 의존해 Suboptimal 지표가 악화되며(예: Hesitation-RMSE 0.09, Retry-VOC 0.67), p=1(완전 마스킹)은 Expert-VOC를 떨어뜨렸다. Downstream 정책 영향: WVM 기반 값으로 Filtered BC(adv >0, top-70%)와 AWR를 적용하면 vanilla BC 대비 시뮬·실물 작업에서 성공률이 일관되게 향상되었다 (평가: RoboSuite 50 롤아웃, AgileX 30 롤아웃).

기술 상세

아키텍처 구조: 비디오 스트림은 Wan2.2 기반의 Video VAE(시공간 압축비 4×16×16, 48-channel latent, patch size (1,2,2))와 30-layer video DiT(hidden 3072, 24 heads, FFN 14336, 약 5.0B 파라미터)을 사용한다. value DiT는 동일한 depth(30-layer)를 유지하되 hidden width를 512로 축소하고 8 attention heads를 사용해 약 0.7B의 추가 파라미터를 더해 전체 두-스트림 모델이 약 5.7B 파라미터가 된다. 각 레이어에서 MoT를 적용해 value 토큰이 video 토큰을 참조하도록 하고 video→value의 영향은 차단하는 asymmetric attention mask를 사용한다.

한계점

논문에서 명시한 한계는 (1) 훈련 데이터 규모 제한으로 완전한 zero-shot 일반화 능력이 제한적이며, (2) Suboptimal-Value-Bench의 작업 범위가 주로 pick-and-place 위주로 장기·고난이도 조작(dexterous, long-horizon)으로의 확장이 필요하다는 점이다.

실무 활용

WVM은 시공간적 priors가 중요한 조작 작업에서 데이터 필터링과 advantage 추정에 활용 가능하다. 특히 혼합 품질(서브옵티멀 포함) 데이터로부터 정책을 재학습할 때 유의미한 개선을 제공한다.

대규모 로봇 비디오 코퍼스에서 실패/재시도 구간 자동 필터링(Filtered BC 기반 데이터 정제)
오프라인 RL/Imitation Learning에서 advantage proxy로 활용해 AWR 같은 알고리즘의 가중치 산정
현장 수집 데이터의 품질 분석(망설임/재시도 비율 모니터링)과 데이터 수집 정책 개선

코드 공개 여부: 비공개

키워드

world models(월드 모델)value estimation(가치 추정)flow matching(플로우 매칭)Diffusion-Transformer(비디오 DiT)Mixture-of-Transformers(MoT)Suboptimal-Value-Bench(서브옵티멀-밸류-벤치)

용어 해설

월드 모델(World Models): — 시계열 영상 또는 환경 상태를 예측하는 생성/표현 모델. 로봇 조작 맥락에서 과거 관찰을 기반으로 미래 상태를 예측해 temporal prior를 제공하므로 value estimation과 planning에 유리하다.
플로우 매칭(Flow Matching): — 잡음 샘플과 목표 샘플을 선형 보간한 중간 상태에 대해 '속도(velocity)'를 예측하도록 학습하는 확률밀도 흐름 기반 생성법. WVM에서는 value chunk와 미래 latent의 연속적 분포를 학습하는 목적 함수로 사용된다.
Diffusion-Transformer(Diffusion-Transformer (DiT)): — Transformer 아키텍처를 diffusion/flow 기반 생성 과정에 적용한 구조체로, 시계열 latent에 대해 denoising/velocity 예측을 수행해 미래 영상을 복원하거나 분포를 모델링한다. WVM의 video/value 스트림에 사용된다.
Mixture-of-Transformers(Mixture-of-Transformers (MoT)): — 별도 스트림(예: video stream, value stream)을 동일 Transformer 레이어 수준에서 선택적으로 결합하는 기법. WVM에서는 value token이 video token을 참조하도록 asymmetric attention을 구성해 표현 간 간섭을 최소화한다.
Value-Order Correlation(Value-Order Correlation (VOC)): — 전문가 시연에서 예측된 값의 순서(monotonicity)가 실제 작업 진행 순서와 얼마나 일치하는지 측정하는 지표. WVM은 Expert-VOC와 Suboptimal-Value-Bench의 Retry-VOC/Hesitation-RMSE로 평가된다.

로봇 조작을 위한 월드 기반 가치 모델

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드