로봇 AI의 새로운 패러다임: Rhoda AI의 DVA와 Sharpa의 MoDE-VLA 기술 분석

• •기존 VLA 모델의 데이터 스케일링 한계를 지적하며 등장
• •시리즈 A에서 4억 5천만 달러 투자 유치 및 17억 달러 가치 인정
• •웹 스케일 비디오 데이터를 로봇 지능의 핵심 소스로 정의

• •300년 분량의 웹 비디오 데이터로 물리적 인과관계 사전 학습
• •Causal Video Model과 Inverse Dynamics Model의 결합 구조
• •로봇 전용 데이터 요구량을 10~20시간 수준으로 획기적으로 단축

Causal Video Model은 LLM이 다음 토큰을 예측하듯 다음 비디오 프레임을 예측하는 모델이다.

• •비디오 예측과 액션 변환을 실시간 폐쇄 루프로 구현
• •이전 프레임 정보를 유지하는 효율적인 캐싱 메커니즘 적용
• •비디오 생성 모델의 느린 추론 속도를 엔지니어링으로 극복

Closed-loop 제어는 센서 피드백을 통해 실시간으로 오차를 수정하며 목표를 달성하는 방식이다.

• •야바위 데모를 통해 뛰어난 장기 시각적 기억력 입증
• •사람의 시연을 즉시 따라 하는 로봇용 퓨샷(Few-shot) 학습 구현
• •언어 명령 없이 시각적 예시만으로 복잡한 태스크 수행 가능

인컨텍스트 러닝은 별도의 추가 학습 없이 입력된 예시만으로 새로운 작업을 수행하는 능력이다.

• •사과 깎기 데모를 통해 극도로 정교한 손 조작 능력 시연
• •촉각 및 힘 피드백 데이터를 통합한 MoDE-VLA 아키텍처 적용
• •NVIDIA GTC 부스에서 실시간 라이브 데모 운영

Dexterous Manipulation은 사람의 손처럼 정교하고 유연하게 물체를 다루는 조작 기술을 의미한다.

• •정교한 조작을 위해 강화학습 기반의 IMCopilot 폴리시 구축
• •Isaac Lab 시뮬레이션을 활용한 안정적인 파지 및 회전 학습
• •모방학습(VLA)과 강화학습(IMCopilot)의 장점을 결합

PPO(Proximal Policy Optimization)는 강화학습에서 안정적인 성능을 보여주는 대표적인 알고리즘이다.

• •VLA가 전체 전략을 짜고 IMCopilot이 세부 조작을 실행하는 계층 구조
• •특정 스킬(예: 사과 돌리기) 활성화 시 제어권 전환 메커니즘 작동
• •촉각 센서 데이터를 실시간으로 활용하여 조작 안정성 확보

계층적 구조는 복잡한 문제를 상위의 전략적 결정과 하위의 구체적 실행으로 나누어 해결하는 방식이다.

• •IMCopilot 도입으로 데이터 수집 성공률을 34%에서 89%로 향상
• •촉각 피드백이 없는 기존 모델 대비 압도적인 태스크 수행 능력 확인
• •복잡한 수작업 자동화를 위한 실질적인 아키텍처 가이드라인 제시

Teleoperation은 사람이 장치를 이용해 원격으로 로봇을 직접 조종하는 방식이다.