RoboTALES: 작업 정렬된 시뮬레이션 미래로 학습하는 추론 기반 로봇 정책

로봇 장기 과제를 수행할 때 단순한 영상 재구성 목표만으로 학습된 생성 모델은 작업 의도에서 벗어나기 쉽고 행동 생성과 일치하지 않을 위험이 크다. 이 논문은 LLM 플래너로 추상적 서브골을 만들어 비디오 생성 과정을 구조화하고, VLM 비평가 보상으로 생성기 내부 표현을 작업 지향적으로 조정함으로써 상상된 미래와 실제 조작을 밀착시키는 방법을 제시했다. 그 결과 장기간 조작 과제에서 성공률과 행동의 시간적 일관성이 유의하게 개선되었음이 실험으로 확인되었다.

장기간 시각 기반 조작 문제는 단일 프레임 반응형 정책이나 픽셀 재현 중심 예측으로는 작업 의도를 유지하기 어렵다. 본문은 고수준 언어 계획이 시간적 서브골을 제공하면 생성 모델이 상상하는 미래가 작업 논리에 더 가깝게 수렴한다고 보았다. 따라서 플래너를 생성 과정의 조건으로 직접 투입하면 '무작위로 그럴듯한' 영상이 아니라 작업 지향적 마일스톤을 반영한 연속적 롤아웃이 유도된다는 직관이 출발점이다.

RoboTALES는 네 가지 구성 요소로 이루어졌다: LLM 기반의 플래너, Stable Video Diffusion을 기반으로 한 비디오 생성기, 1D 행동 UNet으로 구현된 행동 생성기, 그리고 frozen VLM 비평가이다. 플래너는 관찰과 지시문을 입력받아 K개의 서브골을 산출하고 이 서브골을 원래 지시문에 이어붙여 증강된 계획 C를 만든다. 비디오 생성기는 C를 cross-attention으로 받아 Δ 프레임 롤아웃을 생성하고, 그 핵심 프레임을 VLM 비평가로 평가해 스칼라 보상을 획득한다.

정량 결과에서 RoboTALES는 RoboCasa의 다양한 조작 카테고리에서 평균 성공률 우위를 보였고 LIBERO10에서는 평균 97% 성공률을 기록해 경쟁 기법을 상회했다. 어블레이션에서 플래너만 추론 시 보상이 없으면 성능이 낮았고 플래너 조건으로 학습하면 개선되며, 플래너와 비평가를 함께 사용하면 최고 성능에 도달하는 경향이 확인되었다. 추가 실험으로는 관찰 노이즈 강건성, 잠재 jerk(동작 부드러움), 데모 효율성, 추론 시간 비교 등이 포함되며 모든 항목에서 RoboTALES가 더 안정적이거나 효율적인 특성을 보였다.

전체 아키텍처는 Planner, Video Generator, Action UNet, VLM Critic 네 모듈로 구성되어 있다. Video Generator는 사전학습된 Stable Video Diffusion(SVD)을 backbone으로 사용하며 cross-attention 모듈을 통해 플래너의 서브골 임베딩을 주입한다. 행동 생성기는 1D 확산 UNet 구조로 구현되어 initial action noise를 디노이징해 연속적인 7차원 행동(6-DoF 그리퍼 포즈 + 그리퍼 상태)을 출력한다.

논문이 명시한 한계는 현재 비평가가 고정된(frozen) VLM을 사용해 보상 신호가 비교적 거칠고 세부 진행률 신호를 세밀하게 포착하지 못한다는 점이다. 이 때문에 미세한 서브골 완료나 물리적 타당성 같은 정교한 측면을 보상으로 직접 반영하기 어렵다. 논문은 향후 비평가를 공동 학습시켜 보상 모델을 에이전트 역량에 맞춰 적응시키는 방향을 제시했다.