챕터별 상세
00:00
Rhoda AI의 등장과 비디오 액션 모델의 필요성
로보틱스 스타트업 Rhoda AI가 시리즈 A에서 4억 5천만 달러의 투자를 유치하며 기업 가치 17억 달러를 인정받았다. 이들은 기존 VLA 모델이 물리적 세계의 복잡성을 학습하기에는 로봇 전용 데이터가 턱없이 부족하다는 점을 지적했다. 대신 웹상에 존재하는 방대한 비디오 데이터를 활용하여 물리적 법칙을 학습하는 '비디오 액션 모델'을 대안으로 제시했다.
01:50
Direct Video Action (DVA) 아키텍처 분석
Rhoda AI의 핵심 기술인 Direct Video Action(DVA)은 비디오 생성을 통해 로봇을 제어한다. 300년 분량의 웹 비디오 데이터를 사전 학습하여 물리적 인과관계를 이해하며, 로봇 데이터는 단 10~20시간의 궤적 데이터만으로도 충분하다는 점을 강조했다. 아키텍처는 비디오 컨텍스트를 입력받아 다음 프레임을 예측하는 Causal Video Model과 예측된 비디오를 로봇 액션으로 변환하는 Inverse Dynamics Model로 구성된다.
Causal Video Model은 LLM이 다음 토큰을 예측하듯 다음 비디오 프레임을 예측하는 모델이다.
03:20
DVA의 실시간 추론 및 인퍼런스 메커니즘
비디오 생성은 일반적으로 연산량이 많아 실시간 제어에 부적합하다고 여겨졌으나, Rhoda AI는 이를 해결하기 위한 인퍼런스 파이프라인을 구축했다. 비디오 모델이 미래 프레임을 예측하면 역역학 모델이 이를 즉시 액션으로 변환하며, 이 과정이 폐쇄 루프(Closed-loop) 형태로 초당 여러 번 반복된다. 특히 KV 캐시와 유사한 메커니즘을 활용하여 이전 프레임의 정보를 효율적으로 유지하며 연속적인 행동을 생성한다.
Closed-loop 제어는 센서 피드백을 통해 실시간으로 오차를 수정하며 목표를 달성하는 방식이다.
06:30
Rhoda AI의 주요 데모: 장기 기억과 인컨텍스트 러닝
Rhoda AI는 '야바위(Shell Game)' 데모를 통해 모델의 장기 시각적 기억 능력을 증명했다. 컵 아래 숨겨진 물체의 위치를 끝까지 추적하여 찾아내는 모습은 모델이 과거 프레임의 정보를 정확히 유지하고 있음을 보여준다. 또한 사람이 물건을 분류하는 모습을 한 번 보여주면 로봇이 즉시 이를 따라 하는 '인컨텍스트 러닝(In-context Learning)' 기능을 시연하여 범용적인 학습 능력을 입증했다.
인컨텍스트 러닝은 별도의 추가 학습 없이 입력된 예시만으로 새로운 작업을 수행하는 능력이다.
11:00
Sharpa의 사과 깎기 데모와 MoDE-VLA
Sharpa는 NVIDIA GTC에서 사과를 깎는 정교한 로봇 데모를 선보였다. 사과를 집어 들고 필러를 이용해 껍질을 벗기는 과정은 매우 높은 정밀도를 요구하는데, 이를 위해 MoDE-VLA(Mixture-of-Dexterous-Experts VLA) 아키텍처를 사용했다. 이 모델은 범용적인 VLA 모델에 촉각 센서와 힘 피드백 데이터를 결합하여 물리적 상호작용의 정확도를 극대화했다.
Dexterous Manipulation은 사람의 손처럼 정교하고 유연하게 물체를 다루는 조작 기술을 의미한다.
13:30
MoDE-VLA의 핵심: IMCopilot과 강화학습의 결합
Sharpa는 모방학습만으로는 해결하기 어려운 정교한 조작을 위해 IMCopilot(In-hand Manipulation Copilot)을 도입했다. IMCopilot은 Isaac Lab 시뮬레이션 환경에서 PPO 강화학습 알고리즘으로 학습된 전용 폴리시이다. 물체를 안정적으로 잡거나 축을 기준으로 회전시키는 등의 기본 동작(Primitive)을 강화학습으로 미리 마스터해두고, 이를 상위 VLA 모델이 필요할 때 호출하여 사용한다.
PPO(Proximal Policy Optimization)는 강화학습에서 안정적인 성능을 보여주는 대표적인 알고리즘이다.
15:50
VLA와 IMCopilot의 계층적 의사결정 구조
MoDE-VLA는 계층적(Hierarchical) 의사결정 구조를 가진다. 상위 모델인 VLA가 전체적인 작업 흐름을 결정하며, 특정 시점에 정교한 조작이 필요하면 IMCopilot에게 제어권을 넘긴다. 예를 들어 사과를 깎는 도중 사과를 돌려야 할 때 VLA가 '사과 돌리기' 스킬을 활성화하면, 강화학습으로 학습된 IMCopilot이 실시간 촉각 피드백을 받으며 정교하게 사과를 회전시킨다.
계층적 구조는 복잡한 문제를 상위의 전략적 결정과 하위의 구체적 실행으로 나누어 해결하는 방식이다.
18:40
데이터 수집 효율성과 실험 결과 분석
Sharpa는 IMCopilot을 활용하여 데이터 수집 효율을 획기적으로 높였다. 사람이 직접 원격 제어(Teleoperation)로 사과를 깎는 데이터를 모을 때는 성공률이 34%에 불과했으나, IMCopilot의 도움을 받았을 때는 성공률이 89%까지 상승했다. 결과적으로 MoDE-VLA는 기존 OpenPI-0 모델이 실패했던 사과 깎기 태스크에서 유의미한 성공률을 기록하며 촉각 피드백과 계층적 구조의 중요성을 증명했다.
Teleoperation은 사람이 장치를 이용해 원격으로 로봇을 직접 조종하는 방식이다.
용어 해설
- 시각-언어-행동 모델(VLA)
- — 시각적 입력과 언어 명령을 받아 로봇의 구체적인 행동(Action)을 출력하는 멀티모달 모델이다. 로봇이 주변 환경을 이해하고 자연어 지시를 수행할 수 있게 하는 핵심 기술로, 최근 로보틱스 연구의 주류를 형성하고 있다.
- 직접 비디오 액션(Direct Video Action)
- — Rhoda AI가 제안한 방식으로, 로봇의 행동을 직접 예측하는 대신 미래의 비디오 프레임을 먼저 생성하고 이를 기반으로 필요한 움직임을 역산하는 제어 기법이다. 대규모 비디오 데이터를 통해 물리적 법칙을 학습할 수 있다는 장점이 있다.
- 역역학 모델(Inverse Dynamics Model)
- — 현재 상태와 목표로 하는 다음 상태(예: 예측된 비디오 프레임) 사이의 차이를 메우기 위해 필요한 구체적인 힘이나 관절의 움직임을 계산하는 모델이다. 비디오 생성 모델이 그린 미래 모습을 실제 로봇의 물리적 동작으로 변환하는 역할을 한다.
- 모방 학습(Imitation Learning)
- — 전문가(사람)가 수행한 동작 데이터를 로봇이 그대로 따라 하도록 학습하는 방식이다. 로봇에게 복잡한 작업을 가르치는 가장 직관적인 방법 중 하나이지만, 학습 데이터에 없는 상황에 대처하기 어렵다는 한계가 있다.
- 강화 학습(Reinforcement Learning)
- — 로봇이 시행착오를 거치며 보상을 최대화하는 방향으로 스스로 행동 전략을 최적화하는 학습 방법이다. 정교한 손 조작처럼 데이터로 설명하기 어려운 복잡한 물리적 상호작용을 학습하는 데 주로 사용된다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 03. 16.수집 2026. 03. 16.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
