챕터별 상세
00:00
로봇 행동 데이터의 중요성과 시범 데이터(Demonstration)의 개념
LLM이나 VLM과 달리 로봇은 실제 물리 세계에서 팔의 위치, 힘, 접촉 정보 등 복합적인 행동 데이터를 필요로 한다. 이를 해결하기 위해 사람이 직접 작업을 수행하고 로봇이 이를 따라 하는 모방 학습(Imitation Learning)이 중요하게 다뤄진다. 시범 데이터는 영상뿐만 아니라 관절 각도와 작업 성공 여부 정보를 포함해야 하며, 이를 효율적으로 모으는 것이 Physical AI의 핵심 과제이다.
01:34
원격 조작(Teleoperation)의 한계와 새로운 연구 질문
기존의 원격 조작 방식은 고품질 데이터를 보장하지만 실제 로봇 장비가 필요하고 수집 속도가 느려 비용이 매우 높다. 연구자들은 '꼭 실제 로봇을 움직여야만 데이터를 얻을 수 있는가'라는 질문을 던지며 사람이 자연스럽게 작업하는 데이터를 로봇용으로 변환하는 기술을 개발하기 시작했다. DexCap과 AirExo는 이러한 질문에 답하는 대표적인 연구 사례로 꼽힌다.
02:14
DexCap: 휴대 가능한 핸드 모션 캡처 시스템
DexCap은 사람이 착용하고 일상 환경에서 손 조작 데이터를 수집할 수 있는 시스템이다. SLAM 기술과 전자기장 기반 장갑을 이용해 손목 및 손가락의 움직임을 추적하고 주변 환경의 3D 관측 정보를 동시에 기록한다. 수집된 데이터는 DexIL이라는 학습 파이프라인을 통해 로봇의 행동 정책으로 변환된다.
SLAM은 센서가 자신의 위치를 추정하면서 동시에 주변 지도를 만드는 기술이다.
04:11
Retargeting과 역기구학(Inverse Kinematics)의 적용
사람과 로봇은 손가락 개수와 관절 범위가 다르기 때문에 사람의 움직임을 그대로 복사할 수 없다. DexCap은 역기구학(IK)을 사용하여 사람 손끝의 3D 위치를 기준으로 로봇 손가락이 최대한 비슷한 접촉을 만들도록 관절값을 다시 계산한다. 이 과정을 통해 사람의 도메인 데이터를 로봇 도메인에 맞게 매핑하는 Retargeting을 수행한다.
05:22
DexCap의 하드웨어 구성과 데이터 수집 과정
하드웨어는 가슴에 착용하는 LiDAR 카메라 랙과 백팩에 담긴 미니 PC(Intel NUC), 파워뱅크로 구성된다. L515 LiDAR는 작업 공간의 깊이 정보를 얻고, T265 카메라는 손바닥 위치를 추적하며, Rokoko 장갑은 손가락 움직임을 기록한다. 사용자가 장비를 착용하고 이동하며 실제 생활 환경(In-the-wild)에서 데이터를 수집할 수 있는 구조이다.
06:41
AirExo: 저비용 양팔 외골격 시스템을 통한 데이터 수집
AirExo는 손끝 조작을 넘어 팔 전체를 활용하는 Whole-Arm Manipulation 데이터 수집에 집중한다. 로봇이 팔꿈치로 문을 밀거나 팔뚝으로 물체를 받치는 동작을 배우려면 손끝 위치뿐만 아니라 팔 전체의 Joint-level 움직임 정보가 필요하다. 이를 위해 저비용으로 제작 가능한 휴대용 양팔 외골격 장치를 제안한다.
07:46
AirExo의 하이브리드 데이터 수집 전략
AirExo는 두 가지 방식으로 데이터를 생성한다. 첫째는 외골격을 착용하고 실제 로봇을 원격 조종하는 방식이고, 둘째는 로봇 없이 일상 환경에서 작업 시연만 수행하는 방식이다. 값싼 일상 환경 데이터로 작업의 큰 전략(High-level strategy)을 배우고, 비싼 원격 조종 데이터로 세밀한 동작(Fine-grained motion)을 보정하는 계층적 학습 구조를 가진다.
10:22
AirExo-2: 시각적 도메인 차이 극복을 위한 발전
AirExo-2는 사람이 외골격을 착용하고 작업한 영상 데이터를 로봇이 직접 작업한 것처럼 보이는 '수도 로봇 시연(Pseudo-robot demonstration)' 데이터로 변환한다. 원본 영상에는 사람의 손과 외골격 장비가 보이지만, 로봇은 실제 작업 시 로봇 팔을 보게 되므로 이 시각적 도메인 차이(Visual Gap)를 줄이는 것이 핵심이다. 이를 위해 Image Adaptor와 Depth Adaptor를 포함한 세 가지 변환기를 사용한다.
13:26
Image Adaptor의 작동 원리와 생성형 AI의 활용
Image Adaptor는 원본 RGB 영상에서 사람 손과 장비 영역을 SAM 2로 추출하여 지운 뒤 ProPainter로 배경을 복원한다. 그 위에 로봇 모델을 렌더링하고 ControlNet이 가이드하는 Stable Diffusion을 사용하여 실제 환경과 어울리는 로봇 이미지를 합성한다. 결과적으로 사람이 작업한 영상이 로봇이 작업한 영상으로 완벽하게 변환된다.
ProPainter는 비디오나 이미지에서 지워진 영역을 자연스럽게 복원하는 인페인팅(Inpainting) 모델이다.
16:45
Depth Adaptor와 Operation Space Adaptor
Depth Adaptor는 깊이 정보에서도 사람의 형태를 지우고 로봇 팔의 깊이 정보를 병합하여 3D 공간 정보를 정렬한다. Operation Space Adaptor는 외골격 장비의 관절값을 로봇이 실행 가능한 좌표계로 변환한다. 모든 상태와 행동 데이터를 공통 좌표계(Global Camera Coordinate)로 투영하여 사람의 움직임과 로봇의 움직임을 직접 비교 학습할 수 있게 한다.
20:02
RISE-2 정책 아키텍처 분석
RISE-2는 변환된 데이터를 바탕으로 로봇의 행동을 생성하는 정책 모델이다. DINOv2 기반의 Dense Encoder로 시각적 특징을 추출하고, Sparse Encoder로 3D 기하학적 특징을 추출한 뒤 Spatial Aligner를 통해 두 정보를 3D 좌표 기준으로 결합한다. 최종적으로 Diffusion Action Head를 사용하여 노이즈를 정제하며 연속적인 로봇 행동(Action Chunk)을 생성한다.
Action Chunk는 한 시점의 행동만 출력하는 것이 아니라 가까운 미래의 여러 스텝 행동을 묶어서 출력하여 제어의 안정성을 높이는 방식이다.
23:05
Physical AI 데이터 경쟁의 본질
최근 로봇 행동 데이터 확보는 단순히 영상을 많이 찍는 경쟁에서 센서 정렬, Retargeting, Visual Adaptation 기술이 결합된 '데이터 파이프라인 경쟁'으로 진화하고 있다. 로봇이 실제로 배울 수 있는 형태로 데이터를 정리하고 사람과 로봇 사이의 도메인 차이를 줄이는 기술력이 핵심이다. 향후 일반 영상 속 사람의 움직임에서 행동 데이터를 추출하는 연구가 가속화될 전망이다.
용어 해설
- 모방 학습(Imitation Learning)
- — 로봇이 처음부터 시행착오를 겪는 대신 사람이 보여준 예시 행동(Demonstration)을 따라 하며 정책을 학습하는 방식이다. 데이터 효율성을 높이고 복잡한 작업의 초기 학습 속도를 획기적으로 단축할 수 있어 Physical AI의 핵심 기술로 꼽힌다.
- 원격 조작(Teleoperation)
- — 사람이 조이스틱, VR 장비, 리더-팔 장치 등을 사용해 실제 로봇을 실시간으로 조종하며 데이터를 수집하는 기술이다. 고품질의 관절 명령과 센서 데이터를 얻을 수 있지만, 실제 로봇이 필요하고 수집 속도가 느려 비용이 많이 든다는 단점이 있다.
- 역기구학(Inverse Kinematics)
- — 로봇 손끝의 목표 위치가 주어졌을 때, 해당 위치에 도달하기 위해 각 관절이 움직여야 하는 각도를 계산하는 방식이다. 사람의 손 움직임을 로봇의 관절 구조에 맞게 변환하는 Retargeting 과정에서 필수적으로 사용된다.
- 포인트 클라우드(Point Cloud)
- — 3차원 공간상의 점들의 집합으로 물체의 형태와 위치 정보를 표현하는 데이터 형식이다. RGB-D 카메라를 통해 획득한 깊이 정보를 기반으로 생성되며, 로봇이 주변 환경의 기하학적 구조를 이해하는 데 중요한 역할을 한다.
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 05. 04.수집 2026. 05. 04.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
