PhysisForcing: 로봇 조작을 위한 물리 정렬 기반 비디오 월드 시뮬레이터

비전 기반 월드 모델은 로봇 조작에서 시뮬레이션과 정책 학습을 위해 중요한 시각적 미래 예측을 제공한다. 그러나 기존 비디오 생성기는 접촉이 많은 조작 상황에서 궤적 단절, 객체 침투, 비현실적 상호작용과 같은 물리적 위반을 반복했고 이는 세계 모델로서 신뢰도를 떨어뜨렸다. PhysisForcing는 물리-정보가 풍부한 영역에 계층적 물리 정렬을 주입해 픽셀 수준의 연속성과 시맨틱 수준의 관계 일관성을 동시에 강화함으로써 생성의 물리 타당성과 downstream 정책 성능을 동시에 향상시켰다.

로컬 픽셀 움직임과 전역적 시맨틱 관계는 조작 영상의 물리적 타당성을 결정하는 서로 다른 수준의 신호이다. 픽셀 수준에서는 각 점의 시간적 연속성과 깊이 일관성이 중요하며, 시맨틱 수준에서는 객체들 간의 상대적 관계가 상호작용 결과를 결정한다. 기존의 균등한 재구성 목표는 이러한 국소적·전역적 신호를 동시에 포착하지 못하고 배경 픽셀로 인해 물리적 단서가 희석된다. PhysisForcing는 먼저 포인트 트래킹 기반의 운동량과 초깃프레임 깊이를 결합해 물리-정보가 풍부한 영역을 추출한다. 이 마스크는 감독을 필요한 영역에만 집중시키는 역할을 하며, 마스크로 선택된 토큰과 픽셀에서만 추가 물리 손실을 적용한다. 이렇게 하면 잡음이 많은 배경이 학습 신호를 약화시키는 문제를 완화할 수 있다. 픽셀 수준 정렬은 중간 DiT 피처를 쿼리로 사용해 각 추적 포인트의 예측 좌표를 Softmax 좌표 기댓값으로 계산하고, CoTracker3로부터 얻은 레퍼런스 좌표와 마스크된 MSE로 차이를 줄인다. 이 과정은 어떤 값을 입력으로 받는지, 어떤 계산을 거쳐 좌표가 생성되는지를 명확히 규정하여 로컬 궤적 연속성을 직접적으로 목표로 삼는다. 시맨틱 수준 정렬은 동결된 V-JEPA 인코더의 토큰 간 유사도 행렬을 DiT 측 유사도와 맞추어 지역들 간의 상호관계 구조를 전달하며, 이 조합이 로컬 실패모드와 전역 실패모드를 동시에 보완한다.

전체 파이프라인은 사전학습된 DiT 기반 비디오 생성 백본을 미세조정하는 형태로 동작한다. 입력 비디오에서 CoTracker3로부터 밀집 포인트 궤적을 얻고, 초깃프레임의 깊이 추정값을 이용해 각 포인트에 전경 가중치를 부과해 물리 점수 q_i를 계산한 뒤 평균 임계값으로 마스크를 생성한다. 이 물리 마스크는 추후의 픽셀 수준과 시맨틱 수준 정렬에서 토큰·픽셀 선택에 사용된다. 픽셀 수준 정렬에서는 DiT의 중간층 출력 H^l를 ϕ(·)로 정제해 프레임별 피처 맵으로 재구성하고, 첫 프레임 피처 Q와 나머지 프레임의 K_t를 내적해 유사도 지도를 만든다. 그 지도에 대해 공간적 Softmax를 취한 뒤 좌표 기댓값을 계산하면 예측 좌표 p^{i}^{t}가 얻어지고, 이 예측 궤적과 CoTracker3의 레퍼런스 궤적 간의 마스크된 MSE가 픽셀 손실 L^{phy}{pix}가 된다. 이 손실은 학습 도중 중간 DiT 블록에 직접 적용돼 모델의 표현을 물리적으로 정렬한다. 시맨틱 수준 정렬에서는 동결된 비디오 이해 인코더 Φ_u(·)로부터 얻은 토큰 피처 F^u와 DiT 측 ψ(H^l)를 보간·패딩으로 동일한 토큰 레이아웃으로 맞춘 뒤 물리 마스크로 선택한 K개의 토큰에서 각 쌍의 코사인 유사도를 계산한다. 두 관계 행렬 R와 

PhysisForcing는 R-Bench, PAI-Bench, EZS-Bench에서 백본별로 일관된 성능 향상을 보였다. Wan2.2-I2V-A14B에 적용된 PF-Wan은 R-Bench에서 평균 점수 62.0을 기록해 베이스 대비 22.3% 향상을 달성했고 Cosmos3-Nano에 적용된 PF-Cosmos는 R-Bench에서 63.8을 기록해 베이스 대비 9.2% 향상했다. PAI-Bench 로봇 도메인에서는 PF-Cosmos가 85.2로 최고 성능을 달성했고 EZS-Bench에서는 PF-Cosmos가 81.1로 최상위를 기록했다. 구성요소별 실험에서 픽셀 수준 손실 L^{phy}{pix}와 시맨틱 손실 L^{phy}{sem}은 상호 보완적임이 관찰됐다. Wan2.2-TI2V-5B 기반에서 각 손실은 미세조정 기준 44.8에서 각각 47.2와 46.2로 개선되었고 두 손실을 결합하면 47.5로 추가 상승했다. 물리 영역 집중(ablation) 실험은 동일 손실을 모든 토큰에 적용할 때보다 마스크 기반 토큰 선택이 과제 차원에서 더 큰 이득(Tasks 35.4 → 38.9)을 가져온다는 결과를 제시했다. 로봇 정책 학습 측면에서는 PhysisForcing로 학습된 Wan2.2-TI2V-5B가 Fast-WAM 백본으로 사용될 때 전체 과제 평균 성공률을 68.2%에서 72.8%로 끌어올렸다. WorldArena 액션 플래너 규약 하에서 폐쇄 루프 성공률은 16.0%에서 24.0%로 상승해 다른 월드 모델 플래너들을 능가했다. 이러한 결과는 물리적으로 정렬된 비디오 표현이 downstream 행동 모델의 표현력과 계획 품질을 동시에 개선함을 시사한다.

전체 아키텍처는 사전학습된 DiT 기반 비디오 생성 모델을 중간층에서 정렬 손실로 규제하는 구조다. 입력 비디오는 먼저 CoTracker3로 밀집 포인트 궤적을 얻고 초깃프레임 깊이로 전경 가중치를 계산해 물리 마스크 M^{phy}를 생성한다. 이 마스크는 픽셀 수준과 토큰 수준에서 감독 대상 영역을 선별하는 데 사용되며, 학습 후 해당 보조 모듈은 제거된다. 픽셀 수준 정렬은 DiT의 중간 피처 H^{l}를 경량 MLP ϕ(·)로 변환해 프레임별 특징 맵 

논문에서 명시된 한계로 학습 단계에서 약간의 과적합이 관찰되어 학습 스텝이 증가한 뒤 성능이 일부 감소하는 경향이 보고되었다. 정렬 손실이 중간층 한 블록에 적용되므로 블록 선택이 성능에 영향을 미치며 최적의 레이어(논문에서는 layer 15)가 필요하다. 본 방법은 학습 시 CoTracker3와 V-JEPA 같은 보조 모듈에 의존하므로 이들 모듈의 품질이 낮으면 정렬 신호가 약화될 가능성이 있다.