물리적 AI와 로봇 학습을 위한 10가지 핵심 1인칭 영상 데이터셋

섹션별 상세

1인칭 영상은 고정 카메라와 달리 손동작, 시선, 환경 맥락을 자연스럽게 포착한다.

Ego4D는 9개국 협력으로 구축된 대규모 데이터셋으로, 일상 활동과 사회적 상호작용을 포함한다.

근거

EPIC-KITCHENS는 주방 활동에 특화된 데이터셋으로, 자연스러운 요리 과정을 세밀하게 주석 처리했다.

근거

Ego-Exo4D는 1인칭과 3인칭 영상을 동기화하여 로봇 모방 학습에 필요한 교차 시점 이해를 돕는다.

EGTEA Gaze+는 시선 추적 데이터를 결합하여 AI가 인간의 의도와 주의 집중 패턴을 학습하도록 지원한다.

HOI4D는 4D 시공간 정보와 RGB-D 데이터를 결합하여 로봇의 물리적 상호작용 인식을 강화한다.

1인칭 영상(Egocentric Video): — 착용형 카메라나 AR/VR 헤드셋을 통해 인간의 시점에서 촬영된 영상이다. 손동작, 시선, 환경과의 상호작용 등 인간이 실제 경험하는 정보를 포함하여 체화된 AI 학습에 필수적이다.
체화된 AI(Embodied AI): — 물리적 신체나 로봇 플랫폼을 통해 현실 세계와 상호작용하는 AI 시스템이다. 가상 환경을 넘어 실제 환경에서 사물을 조작하고 작업을 수행하는 능력을 갖춘다.
모방 학습(Imitation Learning): — AI 모델이 인간의 행동을 관찰하고 그 패턴을 복제하여 작업을 수행하는 학습 방식이다. 로봇이 인간의 작업 방식을 따라 하도록 훈련할 때 주로 사용된다.
시선 추적(Gaze Tracking): — 사용자의 눈동자 움직임을 추적하여 시선이 머무는 위치와 경로를 기록하는 기술이다. AI가 인간의 주의 집중 패턴과 의도를 파악하는 데 중요한 데이터를 제공한다.

문서Ego4D