HumanNet: 인간 중심 비디오 학습을 100만 시간 규모로 확장

물리적 지능(Embodied Intelligence) 발전을 가로막는 가장 큰 병목 현상인 로봇 전용 데이터의 부족 문제를 해결하기 위해 인터넷상의 방대한 인간 활동 비디오를 활용하는 새로운 패러다임을 제시합니다. 1,000시간의 인간 비디오 학습이 100시간의 실제 로봇 데이터 학습 성능을 능가함을 입증하여 로봇 학습의 확장성을 확보했습니다.

기존의 로봇 학습은 특정 로봇 하드웨어에서 수집된 데이터에 의존했기 때문에 데이터 확보 비용이 매우 높고 다양성이 부족했다. 이는 Transformer 기반 모델이 인터넷의 방대한 텍스트와 이미지로 성능을 확장한 것과 대조되는 물리적 지능 분야의 고질적인 한계였다.

HumanNet은 인간이 물리적 세계와 상호작용하는 모습이 담긴 비디오가 로봇에게 필요한 '물리적 인과관계'와 '동작 원리'를 가르칠 수 있는 훌륭한 교재라는 점에 착안했다. 1인칭 시점 비디오는 로봇의 카메라 뷰와 유사하여 손과 물체의 접촉 역학을 배우기에 적합하고, 3인칭 시점은 전신 동작과 주변 환경의 맥락을 이해하는 데 도움을 준다.

이러한 방대한 비디오 데이터를 단순히 모으는 것에 그치지 않고, 3D 포즈 추정과 SLAM 기술을 통해 픽셀 정보를 물리적인 운동 기하학 정보로 변환했다. 결과적으로 로봇은 실제 로봇 데이터를 직접 보지 않고도 인간의 행동을 관찰함으로써 사물을 어떻게 다루고 움직여야 하는지에 대한 강력한 사전 지식을 습득하게 된다.

데이터 수집 단계에서는 키워드 확장 및 채널 크롤링을 통해 유튜브 등 비디오 플랫폼에서 후보 영상을 확보하고, 인간 중심 필터링을 거쳐 물리적으로 의미 있는 활동이 포함된 영상만 선별한다.

데이터 처리 단계에서는 중복 제거 및 정규화를 수행한 뒤, 장면 전환(Scene Split) 알고리즘을 적용하여 긴 영상을 독립적인 활동 단위의 클립으로 분할한다. 이때 심한 블러나 가려짐이 있는 저품질 영상은 품질 필터링을 통해 배제한다.

주석 생성(Annotation) 단계에서는 3D Hand/Pose Detection을 통해 관절 궤적을 추출하고, Retargeting 모듈을 사용하여 인간의 움직임을 로봇의 골격 구조로 변환한다. 또한 LLM을 활용하여 동작 설명(Motion Description)과 활동 분류 주석을 자동으로 생성하여 멀티모달 학습이 가능하도록 구성한다.

LingBot-VLA 아키텍처를 활용한 실험에서 HumanNet의 1,000시간 에고센트릭 비디오로 학습한 모델은 Magic Cobot의 실제 로봇 데이터 100시간으로 학습한 모델과 대등하거나 일부 작업군에서 더 낮은 검증 손실(Validation Loss)을 기록했다.

특히 Short-Horizon 및 Long-Horizon 작업 모두에서 일반적인 웹 스케일 데이터(Qwen VLM)만 사용했을 때보다 성능이 크게 향상되었으며, 이는 인간 비디오가 로봇의 행동 제어에 필요한 액션 중심적 시각 표현을 효과적으로 제공함을 의미한다. 20,000시간의 실제 로봇 데이터로 학습된 모델과의 성능 격차도 상당 부분 좁히는 데 성공했다.

HumanNet은 96.7만 시간의 비디오, 15만 개 이상의 객체 종류, 72만 개 이상의 작업 카테고리를 포함하는 방대한 규모를 자랑한다. 데이터셋은 다축 타겟 분류 체계(Multi-axis Taxonomy)를 통해 소스 유형, 시점, 환경, 상호작용 스타일별로 체계적으로 관리된다.

기술적으로 핵심은 Retargeting 오차를 15mm 이하로 유지하고 유효 프레임 커버리지를 60% 이상 확보한 '로봇 준비 완료(Robot-ready)' 서브셋을 추출하는 과정에 있다. 이를 위해 Monocular SLAM으로 카메라 궤적을 추정하고 인간의 동작을 통합 휴머노이드 스켈레톤에 정렬시킨다.

학습 시에는 Masked Video Modeling이나 Action-conditioned Forward Dynamics 예측과 같은 멀티모달 목적 함수를 지원할 수 있도록 메타데이터가 설계되어 있어, 단순한 비디오 분류를 넘어 물리적 실행이 가능한 행동 생성 모델 구축에 최적화되어 있다.

인간의 행동이 로봇의 하드웨어적 제약이나 동작 방식과 완전히 일치하지 않는 'Embodiment Gap'이 존재하며, 대규모 데이터 수집 과정에서 발생하는 레이블 노이즈와 시점 불균형 문제가 여전히 남아 있다.