이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
로봇이 실제 세계에서 정교한 조작을 수행하기 위해서는 시각 정보뿐만 아니라 물체와의 접촉에서 발생하는 물리적 감각과 행동 이후의 변화를 예측하는 능력이 필수적이다. Feel the Force와 OSMO 연구는 사람의 시연 데이터 수집 단계에서 접촉력과 촉각 데이터를 통합하여 로봇이 물리적 상호작용의 인과관계를 학습하도록 지원한다. 나아가 NVIDIA Cosmos와 PhysWorld 같은 월드 파운데이션 모델은 비디오 생성 및 디지털 트윈 기술을 활용해 로봇이 자신의 행동이 초래할 미래 물리 상황을 미리 시뮬레이션하게 한다. 이러한 흐름은 로봇이 단순한 패턴 복제를 넘어 물리 법칙을 이해하는 'Physical AI'로 진화하고 있음을 보여준다.
챕터별 상세
00:00
인트로
로봇 조작의 정밀도를 높이기 위해 시각 정보 외에 물리적 감각이 필요한 이유를 짚어본다. 1편에서 다룬 물리 감각의 필요성에 이어, 2편에서는 로봇이 물리 세계를 배우고 예측하는 최신 연구 흐름을 소개한다. Feel the Force, OSMO, NVIDIA Cosmos 등 주요 연구들이 어떤 맥락에서 등장했는지 개괄한다.
00:34
물리량 수집을 통한 로봇 시연 데이터의 고도화
로봇이 시각 정보만으로 물체를 조작할 때 발생하는 물리적 불확실성을 해결하기 위해 시연 데이터에 힘과 촉각 정보를 결합하는 방식이 제안되었다. Feel the Force는 시연자의 손목에 장착된 센서를 통해 접촉력을 측정하고 이를 시각 데이터와 동기화하여 학습 데이터셋을 구축한다. OSMO 시스템은 대규모 로봇 학습을 위해 촉각 센서 데이터를 효율적으로 관리하고 정렬하는 파이프라인을 제공하여 데이터의 질을 높였다. 이를 통해 로봇은 물체를 쥐는 강도나 마찰력을 정밀하게 제어할 수 있는 기반을 마련했다. 시각에 의존하던 기존 VLA 모델의 한계를 물리적 피드백으로 보완했다는 점에서 의의가 크다.
Feel the Force와 OSMO는 각각 접촉력(Force)과 촉각(Tactile) 데이터를 시각 정보와 결합하여 로봇의 물리적 이해도를 높이는 연구이다.
06:40
월드 모델과 디지털 트윈을 활용한 물리적 미래 예측
로봇의 행동이 물리 세계에 미칠 영향을 미리 파악하기 위해 비디오 생성 기술 기반의 월드 파운데이션 모델이 도입되었다. NVIDIA Cosmos는 방대한 물리 비디오 데이터를 학습하여 특정 행동 이후의 장면을 물리적으로 타당하게 생성해내는 능력을 갖추었다. Prompting with the Future는 현재 상태와 목표를 입력받아 미래의 비디오 토큰을 생성하고, 이를 바탕으로 최적의 행동 궤적을 계획하는 메커니즘을 사용한다. PhysWorld는 디지털 트윈 환경에서 물리 법칙을 엄격히 준수하는 시뮬레이션을 수행하여 가상 세계의 학습 결과가 실제 로봇에 전이될 때의 오차를 최소화했다. 로봇이 시행착오를 겪기 전에 결과를 예측함으로써 조작의 안정성과 성공률을 획기적으로 높였다.
월드 파운데이션 모델(WFM)은 물리 법칙을 내면화하여 미래 상황을 시뮬레이션하는 모델로, 로봇의 계획 수립에 핵심적인 역할을 한다.
25:25
아웃트로
물리적 감각 수집과 미래 예측 기술의 결합이 Physical AI의 완성도를 높이는 핵심임을 정리한다. 로봇이 실제 세계에서 안정적으로 작동하기 위해서는 접촉, 힘의 변화, 그리고 행동 이후의 미래까지 통합적으로 이해해야 한다. 최신 연구들이 이러한 방향으로 빠르게 수렴하고 있음을 확인하며 마무리한다.
용어 해설
- VLA
- — 시각(Vision), 언어(Language), 행동(Action)을 통합하여 로봇의 제어 명령을 생성하는 멀티모달 모델이다. 텍스트 명령을 이해하고 시각 정보를 바탕으로 로봇 팔의 움직임과 같은 구체적인 물리적 행동을 출력한다. 로봇이 복잡한 지시를 수행하고 다양한 환경에 적응하는 데 핵심적인 역할을 한다.
- World Foundation Model
- — 물리 세계의 작동 원리와 인과관계를 학습한 대규모 AI 모델이다. 로봇이 특정 행동을 했을 때 주변 환경이 어떻게 변할지 비디오나 상태 변화로 예측하는 능력을 제공한다. 실제 환경에서의 위험한 시행착오를 줄이고 가상 시뮬레이션을 통해 효율적인 학습을 가능하게 한다.
- Tactile Sensing
- — 물체와 접촉할 때 발생하는 압력, 진동, 온도 등의 물리적 자극을 감지하는 기술이다. 로봇이 물체의 딱딱함이나 미끄러움 같은 질감을 파악하여 적절한 힘으로 물체를 잡을 수 있게 한다. 시각 정보만으로는 알기 어려운 미세한 물리적 상호작용을 가능하게 하는 필수 요소이다.
- Digital Twin
- — 현실 세계의 물리적 객체나 시스템을 가상 공간에 동일하게 구현한 디지털 복제본이다. 실시간 데이터를 반영하여 가상 환경에서 시뮬레이션을 수행하고 결과를 예측함으로써 최적의 운영 방안을 도출한다. 로봇 공학에서는 실제 로봇을 가동하기 전 안전한 테스트 환경을 제공하는 용도로 널리 쓰인다.
- Physical AI
- — 물리적 세계와 직접 상호작용하며 행동을 수행하는 인공지능 기술을 통칭한다. 단순히 텍스트나 이미지를 생성하는 것을 넘어, 로봇이나 자율주행차처럼 물리 법칙이 지배하는 환경에서 실시간으로 판단하고 움직이는 지능을 의미한다. 시각, 촉각, 힘 감지 등 다양한 감각 데이터의 통합이 필수적이다.
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 07. 06.수집 2026. 07. 06.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
