𝒩0‑VTLA

비전 중심 VLA 정책은 접촉이 결정적인 조작 상황에서 응답이 한 박자 늦어 실패하는 경향이 있는데, 𝒩0‑VTLA는 촉각을 관찰으로 바로 넣지 않고 미래 촉각을 예측해 행동을 조건화함으로써 이 문제를 해결하려 한다. 구체적으로 현재 촉각 토큰과 시각·언어 컨텍스트를 입력으로 predictor가 H=50 스텝의 촉각 변화를 latent tactile tokens z로 예측하고, 이 z가 flow‑matching action expert를 직접 조건한다. 대규모 NeoData로 촉각을 사전학습한 결과 시뮬레이션 20개 과제 평균 성공률 63.8%를 기록해 동일한 π0.5 기반의 강력한 baseline 44.0%를 크게 상회하고, NeoReal 실험에서 9개 과제를 모두 달성해 접촉 중심 조작에서의 실용적 이득을 확인한다.

촉각 신호는 접촉이 발생할 때만 정보량이 높고 평상시에는 대부분 무음에 가깝기 때문에 비전용 prefix에 단순히 결합하면 용량 낭비가 발생한다. 대신 현재 촉각을 입력으로 삼아 향후 H=50 스텝 동안의 촉각 변화를 예측하는 latent를 만들면 action expert는 자체 행동이 만들어낼 접촉을 미리 반영할 수 있다. 이 예측형 배치가 삽입과 미세 그립처럼 선제적 조정이 중요한 상황에서 정책이 한 박자 앞서 행동하게 만드는 핵심 직관이다.

기저 구조로는 PaliGemma 기반의 vision‑language backbone과 flow‑matching 액션 전문가를 사용하고, 촉각 인코더는 frozen DINOv2에 경량 선형 프로젝션을 붙여 토큰을 얻는다. 촉각 경로는 세 단계 레시피로 도입되며 1단계는 predictor를 미래 촉각 대상 z*에 InfoNCE와 L1 복원으로 학습해 latent를 접촉 중심으로 고정하는 것, 2단계는 vision prefix를 마스크해 action expert가 z만으로 동작을 예측하도록 인터페이스를 정렬하는 것, 3단계는 대부분의 모듈을 언프리즈해 end‑to‑end로 미세조정하는 순서다. 모든 플랫폼은 고정폭 32×32 액션 컨테이너로 통합되어 단일 체크포인트로 여러 기체를 처리하고, ALTER는 저장된 배포 궤적에서 단계별 진행도와 이벤트 비교로 이진 advantage 라벨을 생성해 오프라인으로 정책을 개선한다.

대표 실험에서 𝒩0‑VTLA는 시뮬레이션 20개 과제 평균 63.8% 성공률을 기록해 π0.5의 44.0%를 앞섰고, UniVTAC의 8개 과제에서는 평균 83.1%를 달성했다. NeoReal 실환경 9개 과제에서는 𝒩0‑VTLA가 모든 과제를 선점하며 과제 평균 progress 점수 56.8을 기록했는데, π0.5는 42.3으로 뒤처졌다. ALTER를 적용한 오프라인 정책 개선 결과 Towel Folding, Bag Packing, Cardboard Box Folding에서 𝒩0‑VTLA+ALTER는 각각 95%, 80%, 75% 성공률을 달성해 동일한 절차에서 π0.5 기반 모델보다 일관된 우위를 보였다.

입력은 멀티뷰 카메라, 언어 지시, 로봇 상태, 각 지문별 tactile difference 이미지이며 tactile 프레임은 에피소드 시작의 zero‑contact baseline과의 차분으로 표현된다. 각 tactile image는 frozen DINOv2로 인코딩되고 3×3 어댑티브 풀링으로 10개의 토큰(g_k)을 만든 뒤 predictor가 이들에서 10×d 크기의 latent z를 출력한다. Stage 1 손실은 대칭 InfoNCE로 예측 z와 미래 대상 z*의 코사인 유사도를 끌어당기고 보조 L1 복원 항으로 공간적 레이아웃을 고정하며, Stage 2에서는 vision prefix를 마스크해 action expert가 z로부터 동작을 읽는 인터페이스를 학습하고 Stage 3에서 대부분의 모듈을 언프리즈해 종단면 최적화를 수행한다.

논문 자체 결과에서 이중 암(dual‑arm) 과제 성과가 단일 암 과제보다 낮아 다중 로봇 기구화에서 성능 격차가 존재한다는 점이 관찰된다. 촉각 신호는 자가개발한 vision‑tactile 센서의 차분 이미지에 의존하며 에피소드별 zero‑contact baseline을 요구하므로 다른 센서나 설치 환경에서 추가적 보정이 필요할 가능성이 있다. free‑latent 변형은 Stage 1의 예측 감독을 생략할 경우 z가 prefix를 복제하는 방향으로 치우칠 위험이 있다는 점이 보고되어 설계 공간에 제약이 있음을 시사한다.