ABot-M0.5: 이동성과 조작을 통합한 월드 액션 모델

모바일 로봇의 실용적 과제는 장기적 문맥 유지와 근접 접촉 제어를 동시에 달성하는 것이다. 기존 World Action Model들은 시계열 해상도, 행동 공간의 이질성, 훈련과 추론 조건의 불일치로 인해 미세한 접촉 동역학과 장기 롤아웃에서 실패하는 경향이 있었다. ABot-M0.5는 이 세 가지 정렬 문제를 구조적으로 해결하여 모바일 조작 작업에서 보다 견고한 장기 행동 계획과 정밀 제어를 달성했다.

문제 출발점은 거친 비디오 청크에서 얻은 미래 잠재가 프레임 단위의 정밀 제어 신호와 시공간 해상도가 맞지 않는다는 점이다. 비디오 예측은 긴 시간 축을 요약하는 반면 로봇 제어는 프레임 단위의 접촉 발현과 정밀 조작을 요구하므로 직접 매핑은 정보 손실과 시간적 블러를 초래한다. 이 논문은 이러한 시간적 불일치를 해결할 중간 표현이 필요하다고 규정했다. 해결 원리는 계층적 캐스케이드이다. 먼저 대역적 세계 동역학을 비디오 잠재 z로 예측한 뒤 그 거친 동역학을 프레임 수준의 잠재 행동 m으로 정제하고, 마지막으로 이 잠재 행동을 각 기구학적 표현에 맞는 실행 행동 a로 디코딩한다. 이 세 단계는 Conditional Flow Matching(CFM) 손실로 각각 학습되어 연속적이고 점진적인 복원이 가능하다. 또한 행동의 물리적 성질 차이를 고려하여 행동 공간을 분리했다. 이동과 조작은 시간 빈도와 물리학적 제약이 다르므로 단일 헤드로 학습하면 그래디언트 간섭이 발생한다. 따라서 모달리티 수준의 분리와 실행 행동 내 서브스페이스 분리를 결합하면 각 서브스페이스가 전용 전처리와 FFN으로 전문화되는 동시에 공유 self-attention으로 협동적 결정을 유지할 수 있다. 마지막으로 학습·추론 조건 정렬을 위해 Dream Forcing을 도입했다. 학습 중 액션 예측기를 모델의 자체 생성된(예측된) 비디오 잠재로 조건화하면 추론 시의 자기예측 오차 분포에 노출되어 롱호라이즌 롤아웃에서의 누적 오류에 대한 내성이 높아진다.

전체 아키텍처는 Wan2.2 비디오 디퓨전 백본, 3D VAE 기반 비디오 잠재 인코더, 텍스트 인코더(예시로 UMT5)와 프레임 수준 잠재 행동 인코더 Em으로 구성된다. 입력으로는 다중뷰 프레임과 언어 지시가 들어오며 모델은 z→m→a의 계층적 생성 순서를 따른다. 각 단계의 생성은 Conditional Flow Matching 목적함수로 학습되어 노이즈 수준 τ에서의 속도장을 회귀하도록 설계되었다. 잠재 행동 추출은 연속 프레임 쌍(I_t, I_{t+1})에서 사전학습된 Em을 통해 수행되며, 다중 카메라 환경에서는 각 뷰별로 잠재를 추출해 H×N_c×d_m 텐서로 집계한다. ALAM 방식으로 잠재 공간에 대해 가법성(additivity)과 역가역성(reversibility) 제약을 부과하여 긴 전이들이 짧은 전이의 합으로 근사되도록 학습했다. 학습 후 인코더는 동결되어 오프라인 라벨 생성에 사용된다. D-MoT 구조는 두 수준의 분리에 기반한다. 모달리티 수준에서 비디오, 잠재 행동, 실행 행동 각각 전용 입력 프로젝션과 타임스텝 임베딩, 출력 헤드를 갖는다. 실행 행동 스트림 내부에서는 이동과 조작 차원을 채널 수준으로 분리하여 각 서브스페이스에 전용 FFN과 예측 헤드를 할당한다. 레이어 차원에서는 concatenated token에 대한 joint self-attention을 유지하되, causal 및 conditional mask로 정보 흐름을 제어한다. Dream Forcing 구현은 두 단계 전달 전략을 따른다. Phase A에서 모델은 병렬의 몇 단계 가속 복원을 통해 꿈꾼 미래 잠재(1z_{t+1}, 1m_t)를 생성한다. Phase B에서는 이 꿈꾼 잠재를 고정된 조건으로 받아 액션 예측기를 최적화한다. SFT1 단계에서는 GT 미래 조건으로 안정화 훈련을 수행하고 수렴 후 SFT2에서 꿈꾼 잠재로 대체하여 추론-정렬 훈련을 수행한다. 시스템 최적화로는 구조적 희소 self-attention을 variable-length FlashAttention 커널로 구현해 긴 시퀀스의 계산을 효율화했고, 오프셋 기반 잠재 증강으로 동일 비디오에서 서로 다른 시간 분할을 생성해 데이터 효율과 시간적 강건성을 개선했다.

논문은 시뮬레이션 벤치마크와 실제 로봇 실험 모두에서 ABot-M0.5가 장기 과제 성공률과 미세 조작 정확도에서 경쟁 기법들을 능가했다고 보고했다. 도표와 레이더 플롯은 모바일 조작 및 단일-암 조작 과제에서 우수한 종합 점수를 보였음을 나타낸다. 또한 실제 로봇에서 Arrange Flower와 Find Toaster 같은 장기 시퀀스 실행이 성공적으로 재현되었다고 보고했다. 어블레이션 연구는 각 구성 요소의 기여를 분리하여 평가했다. 프레임 수준 잠재 행동, D-MoT의 행동 분리, 그리고 Dream Forcing 각각이 성능 향상에 실질적 기여를 했으며, Dream Forcing 전환 후 롤아웃 중 누적 오류에 대한 내성이 현저히 향상되었다고 보고되었다. SFT1에서 SFT2로의 단계적 전이가 학습 안정성에 중요한 역할을 했음이 관찰되었다. 효율성 측면에서는 구조적 FlashAttention 구현과 오프셋 기반 잠재 증강이 장기 비디오-액션 학습을 실용적 수준으로 만들었다고 기술되었다. 논문은 대규모 프리트레인 자원과 병렬 몇 단계 디노이징을 조합해 학습 비용을 관리했음을 명시했다.

전체 모델은 Wan2.2 비디오 디퓨전 백본 위에 3D VAE로 인코딩된 비디오 잠재를 입력으로 삼고, 텍스트 조건은 텍스트 인코더로 임베딩된다. 생성 과정은 z_{t+1}→m_t→a_t의 계층 구조로 정의되며 각 단계는 Conditional Flow Matching(CFM) 목표로 학습되어 노이즈 레벨 τ에서의 속도장 v_θ를 회귀한다. z 단계에서는 과거 문맥 z_{<t}, m_{<t}, a_{<t}와 언어 조건 l만을 컨디셔닝으로 사용해 미래 비디오 잠재를 예측한다. 잠재 행동 모듈은 ALAM 프레임워크에 기반해 학습되며 세부적으로 VQ, 재구성, 지각적(perceptual) 손실과 함께 가법성 및 역가법성 제약을 포함한 복합 손실을 사용한다. 학습 후 인코더 E_m은 동결되어 오프라인으로 잠재 행동 레이블을 생성하며, 이 레이블은 실행 단계의 CFM 손실 감독 신호로 사용된다. 잠재 행동의 집계는 H×N_c×d_m 형태로 정렬되어 다중 뷰 정보를 보존한다. D-MoT은 모달리티 수준과 행동 수준의 두 계층으로 분리된다. 모달리티 수준에서는 각 토큰 스트림에 독립적인 입력 프로젝션과 타임스텝 임베딩, 출력 헤드를 두어 표현 붕괴를 방지한다. 행동 수준에서는 a_t를 a_t^{move}와 a_t^{manip}으로 채널 단위로 분할하고 각 서브스페이스에 별도 FFN과 예측 헤드를 할당한다. 두 서브스페이스는 공유 joint self-attention을 통해 상호 정보를 주고받지만 FFN 단계에서는 분리된 경사 흐름을 유지한다. 액션 단계의 CFM 감독은 공통 τ를 사용하되 이동과 조작에 대해 독립적인 가우시안 노이즈 샘플을 도입해 상호 가시성을 유지한다. 학습 시 초기에는 teacher-forced upstream conditioning으로 z≤k+1와 m≤k를 GT로 제공해 안정화한 뒤 SFT2에서 Dream Forcing으로 전환하여 1z,1m로 대체한다. Dream Forcing은 두 단계 전달(Phase A: 꿈 잠재 생성, Phase B: 꿈 잠재 조건으로 액션 학습)을 통해 구현된다. 시스템 측면에서는 구조적 어텐션 마스크를 variable-length FlashAttention로 재구성하여 긴 시퀀스의 계산과 메모리를 효율화했고, 잠재화 시 시작 오프셋을 무작위화하는 오프셋 기반 잠재 증강으로 시간적 분할의 다양성을 H배로 확장해 데이터 효율을 높였다.