𝒩0-TWAM: 촉각 네이티브 세계-행동 모델

접촉이 결정적 역할을 하는 조작 문제에서는 카메라만으로는 물체의 접촉 상태나 미세한 힘 변화를 판별하기 어렵다. 𝒩0-TWAM은 촉각을 시각과 동일한 예측 대상에 포함시켜 미래의 접촉을 모델 내부에서 생성하고, 그 생성된 촉각과 동시에 현재 관찰된 force-space 촉각을 액션 생성에 조건으로 사용해 접촉 의사결정을 강화한다. 이 방식은 접촉으로 인한 실패를 사전에 회피하고 시야가 불안정할 때도 촉각 신호로 동작을 보정하게 하여 접촉-풍부 환경에서의 로봇 조작 성능과 견고성을 높였다는 실험적 근거를 제공한다.

비디오 world-action 모델은 미래 장면을 예측해 그 예측을 바탕으로 행동을 도출하는데, 접촉-풍부 조작에서는 시각만으로는 접촉 상태를 충분히 표현하지 못해 오작동이 발생한다. 𝒩0-TWAM은 촉각을 동일한 예측 목표로 삼아 비디오와 촉각을 공동으로 denoise하도록 하며, 이 공동 예측을 액션 전문가가 조건으로 받아들여 행동을 생성하게 한다. 또한 실제 현재 촉각을 force-space 표현으로 액션에 교차-어텐션으로 제공함으로써 예측적 회피와 관찰적 보정을 동시에 수행하게 만든 점이 핵심 직관이다.

모델 입력은 언어 지시와 관찰 히스토리이며 출력은 청크 단위의 미래 비디오, 미래 촉각, 그리고 그에 조건화된 액션이다. 백본은 세 모달리티(video, tactile, action)별 expert와 층마다 하나의 공유 self-attention을 갖는 Mixture-of-Transformers로 구성되어, 층 내부에서 [v|a|t] 순으로 QKV를 연결해 하나의 마스크된 self-attention을 실행한다. 예측 손실은 latent-frame 수준의 flow-matching을 적용해 각 모달리티 그룹을 독립적 σ로 노이즈하고 Eq.(3)의 가중치화된 L2로 denoising velocity를 회귀하며, 학습은 두 단계로 진행되어 사전학습에서는 예측 촉각만 활성화하고 포스트-트레이닝에서 관찰 촉각 경로를 켠다.

주요 벤치마크에서 𝒩0-TWAM은 우수한 성능을 보였다. UniVTAC 시뮬레이션 평균 성공률은 84.5%였고 NeoSim에서는 평균 49.4%를 기록했으며, 실로봇 8개 과제의 매크로 평균 성공률은 46.3%로 가장 강한 비교 대조군(예: π0.5의 30.0%)을 앞섰다. 제거 실험은 두 촉각 경로 모두가 성능에 기여함을 보여주었고, 사전학습 데이터 규모를 20%로 줄이면 UniVTAC 성능이 84.5%에서 65.4%로 떨어져 데이터 스케일이 중요한 인자임을 확인했다.

백본은 공유 self-attention 폭 d=3072와 비대칭 개인 FFN 폭(d_v=3072, d_a=d_t=1024)을 가진 MoT로 구성되어 전체 학습 가능한 파라미터는 약 7.16B이다. 생성 목표는 청크-단위 자가회귀 분해로 정식화되어 있고 그 수식은 $p_{\theta}(x^{v}_{1:K},x^{t}_{1:K},x^{a}_{1:K}|c)=\prod_{k=1}^{K}p_{\theta}(x^{v}_{k},x^{t}_{k}|X_{<k},c)\cdot p_{\theta}(x^{a}_{k}|x^{v}_{k},x^{t}_{k},X_{<k},c)$로 표현된다. 학습 손실은 latent-frame 수준의 flow-matching을 사용하여 각 모달리티의 노이즈화된 샘플에 대한 denoising velocity를 회귀하고, SNR 가중치 및 싱글/이중 암 마스크를 결합한 항으로 정규화한다. 인코더는 Wan2.2 VAE로 RGB와 촉각을 같은 잠재 공간에 매핑하며 사전 인코딩 후 캐시해 효율성을 확보한다.

첫째, 대규모 비주얼 백본을 유지하면서도 촉각·액션 전문가를 슬림하게 설계했음에도 모델 크기와 계산 비용은 여전히 상당하며 고빈도 제어를 위해 추가적인 추론 최적화가 필요하다. 둘째, 관찰 촉각 경로는 NeoForce의 사전학습된 force-space가 가진 도메인에 의존하므로 센서 종류가 크게 다른 새로운 하드웨어로의 전이는 추가 적응이 필요하다. 셋째, 실험당 반복 횟수가 제한된 실로봇 평가에서 과제별 성공률은 이항 표준오차의 영향을 받아 개별 과제의 차이는 통계적 불확실성을 가질 수 있다.