분리된 전방 및 역방향 역학 사전 학습을 통한 로봇 학습의 엉킴 해소

기존의 로봇 학습 모델은 행동 라벨이 없는 일반 비디오 데이터를 활용하는 데 한계가 있었으나, 이 논문은 시각적 예측과 행동 추론을 분리하여 대규모 웹 데이터를 효과적으로 학습할 수 있는 프레임워크를 제시한다. 이를 통해 데이터 수집 비용을 크게 낮추면서도 실제 로봇 조작 작업에서 SOTA 성능을 기록했다.

기존의 Vision-Language-Action(VLA) 모델은 2D 이미지 예측과 3D 행동 예측이라는 서로 다른 목표를 하나의 신경망에서 동시에 학습하려고 시도했다. 이 과정에서 두 목표 간의 충돌이 발생하여 학습이 불안정해지고, 행동 라벨이 없는 대규모 웹 비디오 데이터를 학습에 통합하기 어려운 한계가 있었다.

DeFI는 이 문제를 해결하기 위해 '세상이 어떻게 변할지 예측하는 것(전방 역학)'과 '이 변화를 일으키기 위해 어떤 행동이 필요한지 추론하는 것(역방향 역학)'을 분리한다. 전방 역학 모델은 Transformer 기반의 비디오 생성 기법을 사용하여 다음 장면을 상상하는 법을 배우고, 역방향 역학 모델은 두 장면 사이의 차이를 통해 로봇의 움직임을 벡터화된 잠재 공간(Embedding Space)에 매핑한다.

결과적으로 모델은 행동 라벨이 없는 수많은 인간의 일상 영상을 통해 물리적 법칙을 먼저 배우고, 이후 소량의 로봇 데이터를 통해 이를 실제 제어 명령으로 연결한다. 이는 데이터 효율성을 극대화하며 복잡한 장기 작업에서도 일관된 성능을 유지하게 한다.

DeFI는 두 단계의 학습 과정을 거친다. 첫 번째 단계인 분리된 사전 학습(Decoupled Pretraining)에서는 General Forward Dynamics Model(GFDM)과 General Inverse Dynamics Model(GIDM)을 독립적으로 학습시킨다. GFDM은 Stable Video Diffusion(SVD) 구조를 채택하여 현재 관찰값과 지시문 l을 입력으로 받아 미래 프레임 z_t:t+H를 생성한다. [현재 이미지와 텍스트 → U-Net/Transformer 노이즈 제거 연산 → 미래 시각 특징 추출 → 물리적 변화 예측]

GIDM은 DINOv2 인코더를 사용하여 추출된 두 프레임 e_t, e_t+n 사이의 관계를 학습한다. VQ-VAE 구조를 활용하여 연속적인 행동 공간을 이산적인 코드북 토큰으로 양자화한다. [두 시점의 이미지 특징 → Spatial-Temporal Transformer 연산 → 양자화된 잠재 행동 코드 생성 → 행동의 의미론적 압축]

두 번째 단계인 결합 미세 조정(Coupled Finetuning)에서는 사전 학습된 두 모델을 통합한다. GFDM은 동결(Frozen)하여 안정적인 시각적 특징을 제공하게 하고, GIDM과 Diffusion 기반 Action Adapter를 함께 최적화하여 최종적인 로봇 제어 명령을 생성한다. 이 과정에서 MLP 프로젝션을 통해 두 모델 간의 표현 공간을 정렬한다.

CALVIN ABC-D 벤치마크의 Multi-View 설정에서 DeFI는 평균 작업 길이 4.51을 기록하여 기존 SOTA 모델인 VPP(4.33)와 Seer(4.28)를 능가했다. 특히 데이터 효율성 측면에서 전체 데이터의 10%만 사용했을 때도 VPP 대비 18% 향상된 성능을 보였으며, 약 60%의 데이터만으로도 기존 모델들의 100% 학습 성능을 추월했다.

SimplerEnv-Fractal 벤치마크에서는 51.2%의 성공률을 달성했으며, 실제 Franka Panda 로봇을 이용한 8가지 작업(물 붓기, 병 쌓기 등) 실험에서 평균 81.3%의 성공률을 기록했다. 이는 OpenVLA(43.8%) 대비 약 2배에 가까운 성능 향상이다.

Ablation Study 결과, 인간 비디오 데이터를 포함하여 사전 학습했을 때 작업 성능이 3.92에서 4.51로 크게 향상됨을 확인하여 대규모 이종 데이터 활용의 유효성을 입증했다.

GFDM은 Stable Video Diffusion 아키텍처를 기반으로 하며, 추론 속도 향상을 위해 단일 단계 노이즈 제거(Single-step denoising)를 수행하여 특징을 추출한다. GIDM은 16레이어의 Transformer 구조를 가지며 768차원의 특징 벡터와 128 크기의 VQ 코드북을 사용한다. Action Adapter는 12레이어의 Diffusion Transformer(DiT)를 사용하여 7차원의 행동 공간을 생성한다. 학습 시에는 NVIDIA H100 GPU 8장을 사용했으며, GFDM 사전 학습에 3일, GIDM에 1.5일이 소요되었다.

접촉이 빈번하거나 물체가 밀집된 환경에서는 GFDM이 물리적으로 불가능한 예측을 생성(Hallucination)하는 경우가 발생하며, 이는 전체 실패 사례의 62%를 차지한다. 또한 언어 기반의 상호작용이나 피드백을 명시적으로 모델링하지 않아 복잡한 지시문 이해에 한계가 있을 수 있다.