RoboTALES: 작업 정렬된 시뮬레이션 미래로 학습하는 추론 기반 로봇 정책

왜 중요한가

로봇 장기 과제를 수행할 때 단순한 영상 재구성 목표만으로 학습된 생성 모델은 작업 의도에서 벗어나기 쉽고 행동 생성과 일치하지 않을 위험이 크다. 이 논문은 LLM 플래너로 추상적 서브골을 만들어 비디오 생성 과정을 구조화하고, VLM 비평가 보상으로 생성기 내부 표현을 작업 지향적으로 조정함으로써 상상된 미래와 실제 조작을 밀착시키는 방법을 제시했다. 그 결과 장기간 조작 과제에서 성공률과 행동의 시간적 일관성이 유의하게 개선되었음이 실험으로 확인되었다.

핵심 기여

플래너 조건화된 비디오 생성기로 구조화된 상상 유도

본 연구는 LLM 기반 플래너가 생성하는 순차적 서브골을 Stable Video Diffusion의 cross-attention에 주입해 롤아웃이 시간적 마일스톤을 따르도록 만들었다. 이 방식은 압축된 자연어 지시문 대신 명시적 서브목표 시퀀스를 조건으로 사용해 예측된 미래가 작업 논리에 부합하도록 유도했다. 실험에서 플래너 조건만으로도 장기 일관성 개선 효과가 관찰되었다.

VLM 비평가를 활용한 표현 정렬(critic-guided representational steering)

생성된 핵심 프레임을 frozen VLM으로 평가해 얻은 스칼라 보상을 확산 샘플링의 전이 로그우도와 결합하여 DDPO 스타일로 비디오 생성기의 특정 파라미터를 최적화했다. 이 보상 신호는 비디오 생성기의 decoder 레이어에 흘러들어가 시각적 충실도뿐 아니라 목표 관련 의미를 내포한 latent를 만들어냈다. 결과적으로 생성기는 단순한 픽셀 예측을 넘는 '행동에 유용한' 내부 표현을 학습했다.

단일 단계의 공동 학습으로 상상과 행동 동시 최적화

비디오 생성기와 1D 행동 UNet을 단일 학습 단계로 결합해 행동 손실의 그래디언트가 선택된 decoder 블록을 통해 비디오 생성기로 역전파되도록 설계했다. 이 설계는 비디오 모델이 '행동을 위해 상상'하도록 유도해 행동 생성 성능을 직접적으로 향상시켰다. 논문은 decoupled 방식 대비 공동학습이 행동에 더 유의미한 표현을 만든다는 실험적 근거를 제시했다.

장기간 조작·잡음에 강한 성능과 시연 효율성 검증

RoboCasa와 LIBERO10 벤치마크에서 RoboTALES는 구조적 과제와 긴 수평 과제에서 기존 방법들보다 높은 성공률을 보였다. 특히 LIBERO10에서 평균 97% 성공률, RoboCasa에서 다양한 카테고리에서 평균 성능 우위를 기록해 일반화 가능성을 확인했다. 또한 데모 수를 늘려도 분산이 작아 안정적으로 학습이 확장되는 특성이 관찰되었다.

핵심 아이디어 이해하기

장기간 시각 기반 조작 문제는 단일 프레임 반응형 정책이나 픽셀 재현 중심 예측으로는 작업 의도를 유지하기 어렵다. 본문은 고수준 언어 계획이 시간적 서브골을 제공하면 생성 모델이 상상하는 미래가 작업 논리에 더 가깝게 수렴한다고 보았다. 따라서 플래너를 생성 과정의 조건으로 직접 투입하면 '무작위로 그럴듯한' 영상이 아니라 작업 지향적 마일스톤을 반영한 연속적 롤아웃이 유도된다는 직관이 출발점이다.

방법론

RoboTALES는 네 가지 구성 요소로 이루어졌다: LLM 기반의 플래너, Stable Video Diffusion을 기반으로 한 비디오 생성기, 1D 행동 UNet으로 구현된 행동 생성기, 그리고 frozen VLM 비평가이다. 플래너는 관찰과 지시문을 입력받아 K개의 서브골을 산출하고 이 서브골을 원래 지시문에 이어붙여 증강된 계획 C를 만든다. 비디오 생성기는 C를 cross-attention으로 받아 Δ 프레임 롤아웃을 생성하고, 그 핵심 프레임을 VLM 비평가로 평가해 스칼라 보상을 획득한다.

주요 결과

정량 결과에서 RoboTALES는 RoboCasa의 다양한 조작 카테고리에서 평균 성공률 우위를 보였고 LIBERO10에서는 평균 97% 성공률을 기록해 경쟁 기법을 상회했다. 어블레이션에서 플래너만 추론 시 보상이 없으면 성능이 낮았고 플래너 조건으로 학습하면 개선되며, 플래너와 비평가를 함께 사용하면 최고 성능에 도달하는 경향이 확인되었다. 추가 실험으로는 관찰 노이즈 강건성, 잠재 jerk(동작 부드러움), 데모 효율성, 추론 시간 비교 등이 포함되며 모든 항목에서 RoboTALES가 더 안정적이거나 효율적인 특성을 보였다.

기술 상세

전체 아키텍처는 Planner, Video Generator, Action UNet, VLM Critic 네 모듈로 구성되어 있다. Video Generator는 사전학습된 Stable Video Diffusion(SVD)을 backbone으로 사용하며 cross-attention 모듈을 통해 플래너의 서브골 임베딩을 주입한다. 행동 생성기는 1D 확산 UNet 구조로 구현되어 initial action noise를 디노이징해 연속적인 7차원 행동(6-DoF 그리퍼 포즈 + 그리퍼 상태)을 출력한다.

한계점

논문이 명시한 한계는 현재 비평가가 고정된(frozen) VLM을 사용해 보상 신호가 비교적 거칠고 세부 진행률 신호를 세밀하게 포착하지 못한다는 점이다. 이 때문에 미세한 서브골 완료나 물리적 타당성 같은 정교한 측면을 보상으로 직접 반영하기 어렵다. 논문은 향후 비평가를 공동 학습시켜 보상 모델을 에이전트 역량에 맞춰 적응시키는 방향을 제시했다.

실무 활용

공개된 코드와 모델이 있어 연구자와 엔지니어가 시뮬레이션 기반 조작 연구에 바로 적용할 수 있는 기반을 제공한다. 플래너-조건화와 비평가 기반 보상은 기존의 비디오 기반 행동 학습 파이프라인에 상대적으로 적은 변경으로 통합 가능하다. 데모 수가 적은 환경에서도 샘플 효율성이 확인되어 현실적 데이터 확보가 어려운 설정에서 실무적 이점이 기대된다.

시뮬레이션 환경에서 장시간 연속적인 조작 정책을 학습해 로봇의 계획적 행동을 개선하는 연구용 파이프라인으로 사용될 수 있다.
데모 기반 학습이 제한적인 산업 작업에서 LLM 플래너로 서브골을 자동 생성해 정책 학습을 가속화하는 사례에 적용할 수 있다.
비전-언어 보상을 활용해 작업 목표와 영상 예측을 정렬함으로써 우발적 실패를 줄이고 물체 조작의 안정성을 높이고자 하는 로봇 연구 및 제품 PoC에 통합할 수 있다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

video-generative-models(비디오 생성 모델)visuomotor-control(시각-운동 제어)llm-planner(LLM 기반 플래너)vlm-critic(비전-언어 비평가)action-diffusion(행동 확산 모델)

용어 해설

비디오 확산 모델(Video Diffusion): — 비디오 확산 모델은 잡음에서 점진적으로 깨끗한 프레임을 복원하는 역확산 과정을 통해 연속 영상 시퀀스를 생성하는 모델이다. 입력으로 현재 프레임과 텍스트나 서브골 같은 조건을 받아 시간적 일관성을 가진 미래 프레임을 샘플링하며, 각 샘플링 단계는 확률적 전이로 해석되어 정책 최적화 신호로 연결될 수 있다. RoboTALES에서는 이러한 비디오 확산의 decoder 특징을 행동 생성기 conditioning으로 활용하여 '행동을 위해 상상'하도록 latent를 조정한다.
비전-언어 모델 기반 비평가(VLM Critic): — VLM Critic은 생성된 미래 프레임을 목표 지시문과 비교해 언어-시각 일치도를 스칼라 보상으로 산출하는 고정된 모델이다. 이 보상은 확산 샘플링의 각 전이(denoising) 단계를 강화학습 관점에서 다루어 점진적 전이 확률의 로그우도를 정책 신호로 가중할 때 이점을 제공한다. RoboTALES은 이 보상을 DDPO 스타일로 비디오 생성기 내부 표현을 정렬하는 데 사용했다.
행동 확산 모델(Action Diffusion): — 행동 확산 모델은 전체 행동 시퀀스를 노이즈에서 복원하는 확산(denoising) 과정으로 연속 제어 신호를 생성하는 방법이다. VideoUNet의 decoder 특징을 조건으로 받아 1D UNet 구조에서 행동 노이즈를 제거하며, 예측된 행동은 로봇의 6-DoF 그리퍼 포즈와 그리퍼 상태로 해석된다. 본 논문에서는 행동 확산 손실을 비디오 생성기와 결합해 latent가 제어에 유의미한 정보를 담도록 학습시켰다.

RoboTALES: 작업 정렬된 시뮬레이션 미래로 학습하는 추론 기반 로봇 정책

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

로봇의 미래를 상상하는 World Model과 World Action Model의 진화

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

로봇의 미래를 상상하는 World Model과 World Action Model의 진화