MolmoMotion: 언어 기반 3D 모션 예측 모델 공개

섹션별 상세

기존 모션 예측 시스템은 이미 발생한 움직임을 추적하는 데 그치지만, MolmoMotion은 미래의 움직임을 예측하여 로봇 제어와 영상 생성 등 능동적인 작업에 활용한다.

모델은 Molmo 2를 백본으로 활용하여 언어 지시와 시각적 관측을 결합하고, 객체의 3D 궤적을 명시적으로 예측한다.

Autoregressive 변형은 궤적을 구조화된 텍스트로 생성하여 정확도를 높이고, Flow-matching 변형은 연속적인 3D 공간에서 모션을 예측하여 불확실성을 효과적으로 처리한다.

연구진은 116만 개의 비디오에서 추출한 3D 궤적 데이터셋인 MolmoMotion-1M과 2,700개 클립으로 구성된 평가용 벤치마크 PointMotionBench를 함께 공개했다.

로봇 시뮬레이션 환경에서 MolmoMotion 기반 정책은 기존 Molmo 2 기반 정책 대비 10K 학습 단계에서 51%의 성공률을 기록하여 19%에 그친 기존 모델을 크게 앞섰다.

근거

MolmoMotion 기반 로봇 제어 정책은 10K 학습 단계에서 51%의 성공률을 기록했다. — Downstream evaluation: robotics planning 섹션

영상 생성 모델에 MolmoMotion의 예측 궤적을 가이드로 제공하면, 프롬프트만으로는 구현하기 어려운 미세하고 정확한 움직임을 생성하여 5개 모션 지표 모두에서 성능이 향상됐다.

근거

MolmoMotion은 5개 모션 관련 지표 모두에서 기존 영상 생성 모델 대비 향상된 성능을 보였다. — Downstream evaluation: video generation 섹션

모션 예측(Motion Forecasting): — 비디오 프레임과 현재 상태를 기반으로 객체의 미래 움직임 궤적을 3D 공간에서 추론하는 기술. 로봇 제어와 영상 생성의 물리적 타당성을 확보하는 데 필수적이다.
플로우 매칭(Flow Matching): — 노이즈 분포를 데이터 분포로 변환하는 확률적 경로를 학습하여 연속적인 3D 좌표를 생성하는 기법. 불확실성이 높은 모션 예측 상황에서 다양한 미래 경로를 표현하는 데 유리하다.
자기회귀 예측(Autoregressive Prediction): — 이전 시점의 출력값을 입력으로 사용하여 다음 시점의 값을 순차적으로 생성하는 방식. 궤적의 연속성과 정확도를 높이는 데 효과적이다.
궤적 조건부 생성(Trajectory-conditioned Generation): — 예측된 3D 궤적 정보를 가이드로 사용하여 영상 생성 모델이 물리적으로 정확한 움직임을 구현하도록 제어하는 기술.