챕터별 상세
로봇 학습의 세 가지 가설
발표자는 인간 데이터를 통해 로봇의 능력을 확장할 수 있으며, 곧 사용법을 모를 정도로 방대한 데이터가 확보될 것이라는 가설을 세웠다. 또한 로봇의 발전은 단순히 데이터의 양뿐만 아니라 이를 처리하는 과학적 방법론의 스케일링이 병행되어야 함을 강조했다. 이는 현대 LLM이 인터넷 데이터를 통해 지식을 습득한 것과 유사한 방식으로 로봇에게 물리적 지능을 부여하려는 시도이다.
기존 원격 조종 방식의 병목 현상
기존의 원격 조종 기반 데이터 수집은 로봇 수와 조종 시간의 곱에 비례하여 선형적으로만 증가하므로 비용이 매우 비싸다. 또한 VR 기기 등을 통한 간접적인 피드백 루프는 인간의 자연스러운 움직임을 단순화시켜 물리적 지능의 손실을 초래한다. 이러한 '데이터의 양'과 '충실도(Fidelity)' 문제를 해결하기 위해 로봇 없이 인간의 경험을 직접 캡처하는 방식이 필요하다.
EgoMimic: 1인칭 시점 비디오를 통한 모방 학습
인간의 1인칭 시점 데이터를 로봇 학습에 직접 활용하기 위해 EgoMimic 프레임워크를 개발했다. Project Aria 안경을 착용하고 수집한 인간의 손 움직임 데이터를 로봇의 관절 구조에 맞게 매핑하는 것이 핵심이다. 실험 결과, 로봇 데이터만 사용했을 때보다 인간 데이터를 추가했을 때 작업 성공률이 급격히 상승하는 스케일링 효과를 확인했다.
Project Aria는 Meta에서 개발한 연구용 스마트 안경으로, 시각, 오디오, 위치 정보를 기록할 수 있는 센서가 탑재되어 있습니다.
인간과 로봇의 간극 메우기: 신체 구조와 시점
인간의 데이터를 로봇에게 이식하기 위해서는 신체 구조(Embodiment)와 시각적 차이를 극복해야 한다. 연구팀은 로봇에게 인간과 유사한 6자유도(DoF) 팔을 장착하고, 인간이 착용했던 것과 동일한 안경을 로봇의 머리에 부착하여 시각적 차이를 최소화했다. 또한 SLAM 기술을 활용해 인간의 머리 움직임으로 인해 흔들리는 시점을 로봇의 고정된 좌표계로 안정화하는 프로세스를 적용했다.
SLAM(Simultaneous Localization and Mapping)은 로봇이 자신의 위치를 파악하는 동시에 주변 환경의 지도를 작성하는 기술입니다.
EgoBridge: 제로샷 전이를 위한 잠재 공간 정렬
단순한 공동 학습(Co-training)만으로는 인간과 로봇의 데이터 분포가 겹치지 않아 제로샷 전이가 어렵다는 문제를 발견했다. 이를 해결하기 위해 Joint Optimal Transport(JOT) 목적 함수를 사용하여 인간과 로봇의 정책 잠재 공간(Policy Latent Space)을 강제로 정렬하는 EgoBridge를 제안했다. 이 기법을 통해 로봇은 인간의 데이터에서만 본 새로운 작업을 로봇 데이터 없이도 수행할 수 있는 능력을 갖추게 되었다.
Optimal Transport는 두 확률 분포 사이의 거리를 측정하고 이를 최소화하는 경로를 찾는 수학적 방법론입니다.
EMMA: 모바일 조작으로의 확장
탁상 위 작업을 넘어 이동하며 물체를 다루는 모바일 조작(Mobile Manipulation)에 인간 데이터를 적용했다. 인간은 이동과 조작을 동시에 자연스럽게 수행하므로, 이를 통해 로봇의 내비게이션과 물체 조작 능력을 동시에 학습시킬 수 있다. 실험 결과, 내비게이션 비중이 높은 작업에서 인간 데이터만으로도 제로샷 전이가 가능함을 입증했다.
EgoScale: 2만 시간 데이터의 힘
데이터의 규모를 10,000배 이상 키웠을 때 어떤 변화가 생기는지 확인하기 위해 2만 시간의 인간 비디오 데이터를 사전 학습에 사용했다. 데이터 양이 로그 스케일로 증가함에 따라 행동 예측 오차가 선형적으로 감소하는 스케일링 법칙(Scaling Law)이 로봇 분야에서도 나타났다. 특히 사전 학습된 모델은 단 한 번의 로봇 시연(One-shot)만으로도 복잡한 조립 작업을 성공적으로 수행했다.
EgoVerse: 로봇 학습을 위한 데이터 생태계
개별 연구실 단위를 넘어 전 세계적인 로봇 학습 데이터를 통합하기 위해 EgoVerse 생태계를 구축했다. 1,400시간 이상의 데이터와 2,000개 이상의 작업을 포함하며, 누구나 스마트폰 앱을 통해 데이터를 기여할 수 있는 인프라를 제공한다. 다양한 환경과 조종자(Operator)의 데이터를 확보할수록 로봇의 범용적인 작업 수행 능력이 향상됨을 확인했다.
향후 과제: 물리적 지능의 완전한 모델링
현재의 1인칭 비디오 데이터는 시각 정보에 치중되어 있어 촉각이나 힘(Force) 정보를 담지 못한다는 한계가 있다. 발표자는 향후 촉각 장갑이나 근전도(EMG) 센서 등을 활용해 인간의 감각 경험을 더 정밀하게 캡처해야 한다고 제언했다. 또한 인간의 의사결정 맥락(Context)을 이해하기 위해 과거의 기억과 지식을 모델에 통합하는 연구가 필요함을 강조했다.
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 04. 21.수집 2026. 04. 21.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
