로봇 양팔 궤적과 물체 반응을 예측하는 DreamX-Phi 1.0

왜 중요한가

로봇 조작용 Video World Model은 화면이 그럴듯한 것만으로 충분하지 않고, 지정한 양팔 궤적과 물체의 실제 반응까지 맞춰야 합니다. DreamX-Phi 1.0은 Wan2.2-TI2V-5B를 기반으로 팔별 SE(3) 변환, 이미지 평면 Flow, 깊이·객체 일관성 supervision을 결합해 이 문제를 다룹니다. WorldArena 2.0의 2026년 8월 12일 snapshot에서 Track 1 EWMScore-P 60.65로 31개 항목 중 1위, Track 2 Adjust Bottle 성공률 67.19%로 공동 2위를 기록했습니다.

핵심 기여

팔별 강체 궤적을 보존하는 Action Conditioning

DreamX-Phi 1.0은 양팔의 end-effector pose와 gripper state를 일반적인 control token으로 압축하지 않고 구조화된 입력으로 처리합니다. 팔별 SE(3) 변환은 PRoPE 기반 Attention에 들어가며, Robot-Only Optical Flow는 해당 움직임이 영상의 어느 위치에 나타나는지 보완합니다. 이 결합은 지정된 3차원 팔 궤적과 영상 속 움직임의 대응을 함께 학습하도록 구성됩니다.

조작 물체에 집중하는 물리 일관성 학습

전체 화면의 정적 배경이 접촉 영역보다 큰 조작 영상에서는 RGB 손실만으로 gripper와 물체의 상호작용을 충분히 학습하기 어렵습니다. DreamX-Phi 1.0은 SAM3 mask로 조작 물체 토큰의 손실 가중치를 높이고, frozen V-JEPA Teacher의 객체 특징 관계를 시간축에 걸쳐 맞춥니다. 그 결과 물체의 위치·형태·상태 변화가 팔의 접촉 흐름과 분리되지 않도록 학습 목표를 세분화합니다.

다단계 Video Generator의 Few-Step 배포

기본 Generator는 반복적인 denoising 평가가 필요해 실제 Rollout 환경에서 비용과 지연이 커질 수 있습니다. 연구팀은 DMD2 방식으로 multi-step Teacher의 조건부 잠재 분포를 few-step Student에 증류하고, noised non-saturating GAN 손실을 추가했습니다. Student는 관측 프레임·양팔 행동 궤적·언어 지시를 같은 조건으로 유지하면서 고정된 denoising 일정의 일부 단계만 실행합니다.

핵심 아이디어 이해하기

일반적인 Video Diffusion Transformer는 관측 프레임과 언어 지시를 바탕으로 시각적으로 자연스러운 미래를 만들 수 있지만, 화면의 자연스러움이 지정된 로봇 행동의 정확성을 보장하지는 않습니다. 같은 시작 장면에서도 왼팔과 오른팔의 궤적이 달라지면 해당 팔의 움직임과 물체 반응이 달라져야 하지만, 행동을 작은 token이나 modulation feature로만 넣으면 이런 3차원 강체 구조를 모델이 간접적으로 추론해야 합니다.

DreamX-Phi 1.0은 각 말단효과기의 위치와 자세를 SE(3) 변환으로 묶고, 모든 팔을 첫 번째 팔의 초기 pose를 기준으로 정렬합니다. 이어서 전체 작업 공간의 크기가 아니라 실제 궤적의 최대 이동량으로 평행이동을 정규화하므로, 팔 사이의 정지 거리가 움직임 크기를 압도하지 않습니다. 이 변환을 PRoPE Attention의 Query·Key·Value·Output 경로에 적용해 두 토큰의 관계가 절대 좌표가 아닌 상대 움직임에 의해 결정되도록 합니다.

기하학적 행동 입력만으로는 물체가 접촉 뒤 어떻게 움직이고 상태를 유지하는지까지 충분히 제한하기 어렵습니다. 그래서 Robot-Only Optical Flow로 팔의 이미지 평면 움직임을 추가하고, 깊이 branch로 표면의 앞뒤 순서와 접촉 구조를 학습하며, SAM3 mask와 V-JEPA 관계 손실로 작은 조작 물체에 학습 신호를 집중합니다. 입력은 관측 RGB 프레임·언어 지시·양팔 trajectory이고, 처리 결과는 각 행동 단계에 대응하는 미래 RGB video rollout입니다.

마지막으로 DMD 기반 post-training은 여러 denoising 단계를 수행하는 Teacher의 출력 분포를 적은 단계의 Student가 재현하도록 만듭니다. 따라서 구조화된 행동 조건과 물리 일관성 학습은 유지하면서도 추론 시 반복 횟수를 줄이는 경로를 제공합니다.

방법론

모델은 관측 RGB 프레임 $x_0$ , 언어 지시 $c$ , 그리고 end-effector pose와 gripper state를 포함한 양팔 행동 궤적 $a_{1:T}$ 를 받아 조건부 분포 $p_θ(x_{1:T}x_0,a_{1:T},c)$ 에서 미래 RGB 프레임을 생성합니다. 첫 프레임의 latent가 시각적 문맥으로 고정되고 미래 프레임 latent는 Flow Matching objective로 학습됩니다. 실제 입력에서 출력으로 이어지는 전체 흐름은 프레임·지시·궤적 인코딩, 기하학적 Attention과 보조 조건 결합, 미래 latent denoising, RGB video 복원 순서입니다.

행동 표현에서 팔 k의 각 시점은 위치 p, quaternion q에서 변환한 회전 행렬 R, gripper 값 g로 구성됩니다. 변환 행렬은 회전과 평행이동을 4×4 homogeneous matrix로 묶은 뒤 첫 번째 팔의 초기 pose 역변환을 곱해 공통 기준계로 옮기고, 최대 이동량 γ로 평행이동을 나눕니다. 정규화된 변환을 역변환해 VAE latent frame에 맞춘 뒤 두 팔과 시간축을 포함하는 Attention 입력으로 만들며, 존재하지 않는 팔은 identity pose와 g=0으로 채웁니다.

각 Transformer block에는 pretrained self-attention과 병렬인 action branch가 있습니다. Attention head를 팔별 고정 그룹으로 나누고, 같은 팔과 같은 latent frame에 속한 patch에는 동일한 변환 D를 적용해 Query는 전치 변환, Key와 Value는 역변환, Output은 원래 변환을 거치게 합니다. 이 결과 토큰 i와 j의 결합은 절대 좌표가 아니라 상대 변환 DᵢDⱼ⁻¹에 의해 결정되며, gripper 값은 별도의 팔별 bias로 추가되고 branch의 projection은 zero initialization으로 기존 생성 경로를 처음에는 방해하지 않습니다.

깊이 branch는 RGB Transformer의 앞부분을 공유하고 뒤쪽 M개 block을 복제하는 경량 구조입니다. Depth Anything 3의 depth map을 단일 채널에서 pseudo-RGB로 복제한 뒤 RGB와 같은 frozen VAE로 인코딩하고, depth branch가 RGB feature를 cross-attention으로 읽어 예측 latent와 목표 latent 사이의 mean-squared error를 계산합니다. 이 연결은 RGB에서 depth로만 흐르므로 학습 중에는 공유 표현에 3차원 구조 신호를 주지만 inference에서는 depth branch를 실행하지 않아도 RGB 계산이 유지됩니다.

객체 supervision에서는 SAM3의 binary mask를 latent grid에 투영하고 mask 내부 토큰의 기본 가중치를 λₘ배 높인 뒤 전체 평균 가중치가 1이 되도록 정규화합니다. 조작 물체의 예측 feature와 frozen V-JEPA Teacher feature는 직접 좌표를 맞추지 않고 각각의 Gram Matrix를 만든 다음 L1 거리로 비교하며, 충분한 mask token이 있고 noise level이 임계 조건을 통과한 샘플만 relational loss에 기여합니다. 이 과정은 배경 토큰이 많은 영상에서 접촉 부위의 RGB 오류와 물체의 시간적 관계가 손실을 지배하도록 입력·처리·출력 경로를 재배치합니다.

Few-Step post-training에서는 관측 프레임·행동 궤적·언어 지시를 조건 y로 고정하고, Student와 실제 미래 latent에 같은 Wan forward-noising을 적용합니다. DMD는 Student 조건부 주변분포와 실제 데이터 주변분포 사이의 KL divergence를 줄이며, GAN 보조 손실은 noised fake latent가 real로 판별되도록 Student를 추가로 갱신합니다. 최종 Student는 multi-step Teacher의 분포와 시각적 판별 신호를 적은 denoising 단계로 근사합니다.

주요 결과

WorldArena 2.0 Track 1의 2026년 8월 12일 공식 snapshot에서 DreamX-Phi-1.0-FDM-0730은 EWMScore-P 60.65를 기록해 전체 31개 항목 중 1위였습니다. 세부 점수는 Trajectory Accuracy 98.55, Depth Accuracy 82.24, Instruction Following 90.53, Semantic Alignment 60.65였고, Track 1은 시각 품질·동적 움직임·물리 상호작용·3D 구조·조건 충실도 등 15개 component score의 평균으로 계산됩니다. 이는 단일 화질 지표가 아니라 지정 행동과 장면 변화의 대응까지 포함한 결과입니다.

같은 snapshot의 Track 2에서 제출된 world model을 rollout environment로 사용해 학습한 policy는 RoboTwin 2.0의 held-out Adjust Bottle episode에서 67.19% 성공률을 얻었습니다. WOVR-PLUS의 68.75%에 이어 Lute와 공동 2위였으며, 이 평가는 DreamX-Phi 자체가 action을 생성하는지보다 예측된 환경이 별도 policy 학습에 유용한지를 측정합니다. 따라서 영상 예측 성능과 policy training utility를 분리해 확인한 결과입니다.

WorldArena 1.0 Track 1의 offline 평가에서는 EWMScore-P 76.88을 기록했습니다. 같은 형식의 고정 공식 leaderboard에서는 UNIS 73.64, SisyphusWorld 73.06, BWM-Fast 72.71이 상위였으며 DreamX-Phi 결과는 해당 snapshot의 정식 entry가 아닌 별도 offline 측정입니다. 연구팀은 RoboTwin의 clean 장면과 배경·texture·조명·distractor를 바꾼 randomized 장면 모두에서 팔·gripper·조작 물체의 시간적 일관성이 유지되는 qualitative rollout을 제시했습니다.

기술 상세

기반 Generator는 Wan2.2-TI2V-5B video diffusion Transformer이며, 입력은 단일 관측 RGB frame·language instruction·외부에서 주어진 bimanual action sequence입니다. 학습 corpus는 Ego4D 3,700 h, AgiBot World 1,900 h, InternData-A1 78 h real 및 3,747 h simulated, Cosmos3-DROID 350 h, RoboCOIN 618 h, RoboTwin 2.0의 25,000 action-annotated clips로 구성됩니다. action-free egocentric video는 appearance와 motion prior를 넓히고, synchronized robot trajectory 데이터는 시각 미래와 제어 신호의 시간 정렬을 제공합니다.

SE(3) 처리에서는 각 팔의 quaternion을 rotation matrix로 바꾸고 pose를 homogeneous transform으로 구성합니다. 모든 팔을 첫 번째 팔의 초기 pose에 상대적으로 표현한 뒤 γ = maxₖ,ₜ ‖p̄ₜᵏ − p̄₁ᵏ‖₂를 사용해 궤적의 최대 이동량을 기준으로 translation을 정규화하며, γ가 작은 경우 분모를 1로 둡니다. 이 방식은 절대 workspace 크기보다 실제 동작 amplitude를 기준으로 만들고, 이후 역변환된 4×4 행렬을 VAE latent 시간축에 맞춥니다.

PRoPE action branch는 각 Transformer block에서 Q, K, V, O에 팔별 변환을 적용합니다. Head group ℋₖ는 팔 k에 고정되고, token i에는 Dᵢ = I₍dₕ/4₎ ⊗ Aₙ₍ᵢ₎ᵏ가 할당되어 Qᵢ′ = DᵢᵀQᵢ, Kᵢ′ = Dᵢ⁻¹Kᵢ, Vᵢ′ = Dᵢ⁻¹Vᵢ, Oᵢᵃᶜᵗ = Dᵢ[Attn(Q′,K′,V′)]ᵢ 순서로 계산됩니다. 예를 들어 두 token의 D가 다르면 attention 관계가 DᵢDⱼ⁻¹로 바뀌므로, 같은 팔의 시간 변화와 두 팔 사이의 상대 자세가 절대 좌표계에 덜 의존합니다.

Object-aware RGB loss는 mask 밖 배경과 mask 안 조작 물체의 기여를 다르게 계산합니다. mask token mᵢ가 1이면 먼저 1 + (λₘ − 1)mᵢ로 가중하고, 모든 valid future token의 평균 가중치가 1이 되도록 다시 정규화한 뒤 Flow Matching error ℓᵢᴳᴹ에 곱합니다. λₘ의 구체적인 수치는 본문에 공개되지 않았으므로, mask가 유효한 영상에서는 물체 영역의 상대 영향이 증가한다는 수준으로 해석해야 합니다.

V-JEPA relational loss는 masked teacher token을 시간에 걸쳐 뽑아 Student와 Teacher를 각각 Mᵦ×d feature matrix Sᵦ와 Qᵦ로 만듭니다. 두 행렬의 Gram Matrix SᵦSᵦᵀ와 QᵦQᵦᵀ의 차이를 L1 norm으로 계산하고, mask token 수가 Mₘᵢₙ 이상이며 noise σᵦ가 σₘₐₓ 이하인 샘플만 평균에 포함합니다. 직접 feature 좌표를 맞추지 않기 때문에 Teacher와 Student의 feature basis가 달라도 객체 token 사이의 유사도 구조, 즉 정체성·형태·상태의 관계를 비교할 수 있습니다.

Depth branch는 RGB Transformer의 첫 N−M개 block을 공유하고 마지막 M개 block을 복제합니다. Depth Anything 3 map d를 pseudo-RGB로 바꿔 frozen VAE에 넣은 latent zᵈ를 목표로 사용하며, 예측 latent ẑᵈ와의 평균 제곱 오차는 $L_depth = 1/|z^d| ‖ẑ^d − z^d‖₂²$ 로 계산합니다. 입력 depth가 RGB 표현을 거쳐 예측 latent로 변환되고, 이 오차가 공유 trunk를 갱신해 표면 순서와 접촉 구조에 관한 신호를 남기는 방식입니다.

한계점

평가는 WorldArena와 RoboTwin에 한정되어 있으며, Track 2도 Adjust Bottle task만 포함합니다. 따라서 다른 task·robot embodiment·실제 로봇에서의 일반화는 아직 확인되지 않았습니다. 또한 leaderboard 점수는 전체 시스템 결과라서 PRoPE, depth branch, SAM3 mask, V-JEPA supervision 각각의 기여를 분리하지 못하며, DreamX-Phi는 action을 생성하지 않는 Forward Dynamics Model이므로 closed-loop controller 평가는 아닙니다.

실무 활용

DreamX-Phi 1.0은 실제 로봇이 행동을 실행하기 전에 지정된 양팔 trajectory의 미래 장면을 예측하는 Forward Dynamics Model입니다. 영상 rollout을 policy 학습용 환경으로 사용할 수 있지만, 현재 모델은 action을 스스로 생성하지 않으며 실제 로봇과 다른 embodiment·task로의 일반화는 검증되지 않았습니다.

관측 RGB 프레임과 언어 지시, 양팔 end-effector trajectory를 넣어 grasp·이동·release 과정의 미래 RGB video를 open-loop로 평가할 수 있습니다. PRoPE와 Flow 조건이 팔별 움직임과 화면 위치를 연결하고 SAM3·V-JEPA supervision이 조작 물체의 변화를 보정하므로, 후보 trajectory 비교에 활용할 수 있습니다.
DreamX-Phi를 rollout environment로 사용해 별도 policy의 행동 결과를 시뮬레이션할 수 있습니다. WorldArena 2.0 Track 2에서는 organizer-provided initialization과 fixed reward model로 π₀.₅ policy를 최적화한 뒤 held-out Adjust Bottle episode에서 67.19% 성공률을 측정했습니다. 다만 이 수치는 DreamX-Phi가 closed-loop controller라는 뜻이 아니라 policy 학습을 위한 예측 환경으로 쓰였다는 의미입니다.
추론 지연이 중요한 배포 환경에서는 DMD로 학습한 few-step Student를 사용할 수 있습니다. Student는 multi-step Teacher의 조건부 latent 분포를 모방하고 동일한 관측·행동·언어 조건을 유지하므로, 반복 denoising 횟수를 줄인 미래 영상 생성 경로를 제공합니다. 논문은 구체적인 latency 감소 수치를 보고하지 않았으므로 실제 속도 이득은 별도 측정이 필요합니다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

DreamX-Phi 1.0(로봇 조작용 Action-Conditioned Video World Model)SE(3)(3차원 강체 변환)PRoPE(기하학적 Attention 인코딩)SAM3(조작 물체 mask)V-JEPA(객체 관계 Teacher)DMD(Distribution-Matching Distillation)WorldArena 2.0(세계 모델 벤치마크)

용어 해설

3차원 강체 변환(SE(3)): — SE(3)는 3차원 공간에서 물체의 회전과 평행이동을 함께 표현하는 강체 변환 군이다. 로봇 말단효과기의 위치와 자세 변화를 하나의 구조로 다루므로, 각 팔의 움직임을 전역 좌표계와 무관하게 비교하고 Attention에 주입하는 데 쓰인다.
투영 상대 위치 인코딩(PRoPE): — PRoPE는 알려진 상대 변환을 Query, Key, Value, Output 표현에 적용하는 기하학적 Attention 방식이다. DreamX-Phi에서는 카메라 대신 로봇 팔의 SE(3) 궤적을 입력해 토큰 쌍이 절대 위치가 아닌 상대 움직임을 반영하도록 만든다.
플로 매칭(Flow Matching): — Flow Matching은 잡음 상태에서 목표 영상 잠재 표현으로 이동하는 벡터장을 학습하는 생성 방식이다. DreamX-Phi는 첫 RGB 프레임을 조건으로 미래 프레임 잠재 표현의 흐름을 학습하고, RGB 예측 손실을 SAM3 객체 영역에 더 집중시킨다.
분포 매칭 증류(Distribution-Matching Distillation): — Distribution-Matching Distillation은 여러 번의 생성 과정을 거치는 Teacher의 조건부 출력 분포를 적은 단계의 Student가 모방하도록 학습하는 방법이다. DreamX-Phi는 DMD 손실과 적대적 생성 손실을 함께 사용해 배포 시 필요한 denoising 단계를 줄인다.
그램 행렬(Gram Matrix): — Gram Matrix는 특징 벡터들 사이의 내적을 모은 행렬로, 개별 좌표계보다 특징 간 관계 구조를 나타낸다. DreamX-Phi는 예측 영상과 frozen V-JEPA Teacher의 객체 특징 Gram Matrix를 비교해 객체의 정체성·형태·상태가 시간에 따라 흔들리는 현상을 억제한다.

로봇 양팔 궤적과 물체 반응을 예측하는 DreamX-Phi 1.0

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드