HumanScale: Egocentric 인간 비디오가 Embodied Pretraining을 위한 Real-Robot 데이터보다 우수하다

데이터 확장성의 한계로 실로봇 데이터의 수집 비용과 다양성 제약이 크다. 본 연구는 5,000시간 규모에서 egocentric 데이터가 real-robot 데이터와 동등한 조건에서 더 나은 일반화를 이끌 수 있음을 실험적으로 보여준다. 특히 unseen-task에서의 일반화 이점이 두드러지며, open-world prior가 post-training 단계에서 embodiment-alignment를 적은 비용으로 보완한다.

단계1: 문제 정의 - embodied foundation models은 데이터, 모델 규모, 계산의 합성으로 성능을 끌어올리는 것이 일반적이다. 다만 embodied pretraining은 로봇 데이터를 통한 exact embodiment- alignment의 한계로 인해 수요 대비 데이터 다양성이 충분하지 않다. 또한 teleoperation 데이터는 높은 품질의 자세한 액션 정보를 제공하지만 수집 비용과 환경 다양성의 제약이 크다. 단계2: 해법의 연결고리 - egocentric video를 전면에 두고, hand-pose retargeting으로 pseudo-action 라벨을 생성하는 필터링+레이블링 파이프라인을 통해 대규모 오디오-비주얼 시퀀스의 누적 정보를 확보한다. 이를 MoT(Mixture-of-Transformers)로 구성된 World-Action Model에 입력해 미래 영상 관측과 행동을 동시에 예측하도록 학습한다. 단계3: 차별점과 효과 - 동일한 데이터 규모에서 egocentric pretraining은 unseen 태스크에서 크게 일반화 성능이 향상되며, 데이터 증가에 따른 손실 감소 및 평가 점수의 상승이 지속된다. 이는 open-world prior의 효과로 해석되며, post-training에서 실세계 로봇 데이터로 간단히 정렬해도 강건한 전달을 보인다.

Stage 1: Pretraining 데이터 구성 - Egocentric은 HumanNet에서 선별된 5,000시간으로 구성되며, per-clip end-effector poses와 gripper states는 retargeted hand-pose signals에서 추정된 pseudo-action 라벨로 제공된다. Real-robot 데이터는 여러 데이터셋에서 수집된 다중 임 embodiment trajectories로 구성된다. Stage 2: Post-training 데이터 - AgiBot World의 15개 manipulation 태스크에서 각 태스크당 100개 시연, 총 1,500 traj. Stage 3: 평가 프로토콜 - post-training의 동일한 데이터와 평가 프로토콜을 고정하고, Seen( post-training 태스크에서 보유)과 Unseen( post-training에 포함되지 않은 태스크)으로 구분해 검증한다. Stage 4: 모델 아키텍처 - 비디오 다이나믹스 예측과 액션 추론을 결합하는 MoT 아키텍처를 사용하며, 비디오 전문가를 Wan 2.2에서 초기화하고, 액션 전문가는 보간(interpolation)으로 초기화한다. Stage 5: 평가 지표 - 검증 손실(L2)과 t계열로 보정된 로짓 확률 기반의 예측 정확도 등을 사용한다. 손실은 로스 값으로 표현되며, post-training 이후 Seen/Unseen 구간에서의 성능이 보고된다.

메인 벤치마크: Seen 태스크에서 egocentric pretraining은 100시간 대비 5000시간에서 손실을 0.0080에서 0.0067로 감소시켜 Wan2.2 baseline 대비 35% 낮은 손실을 달성했다. Unseen 태스크에서 손실은 0.0234에서 0.0204로 감소해 Wan2.2 baseline 대비 24% 낮아졌다(실제 로봇 pretraining 대비 약 20% 수준의 개선). 로봇 pretraining 역시 증가시켰지만 Unseen에서 뚜렷한 개선을 보이지 않았다. 실세계 로봇 실험에서의 결과는 In-Distribution에서 92.5%의 성공률, Out-of-Distribution에서 90.0%의 성공률을 달성했다. Ablation 연구는 egocentric 데이터가 증가할수록 손실이 감소하는 것을 확인했고, 로드맵 상의 로그-선형 스케일(L = a − b ln(D))이 Seen(그래프 R2=0.86)과 Unseen(R2=0.94)에서 잘 맞아떨어졌다. 추가 연구로는 비디오 생성+액션 예측을 결합한 MoT 구조의 이점이 확인되었으며, real-world rollouts에서도 에고크래픽 사전학습의 우수성을 재현했다.

-- 아키텍처 구성: MoT(Mixture-of-Transformers) 기반으로 비디오 다이나믹스 예측과 행동 추론을 결합 -- 데이터 파이프라인: egocentric 데이터의 hand-pose retargeting으로 pseudo-action 라벨 생성, 5,000시간 규모의 pretraining, post-training 데이터 1,500 traj. -- 학습 방법: 비디오 생성+다음 상태 예측에 대한 손실과 action 예측 손실의 합으로 최적화 -- pretraining과 post-training의 분리: pretraining substrate를 다르게 두고, post-training은 동일한 로봇 데이터로 고정 -- 평가: Seen/Unseen 분할에서 action-loss(L2) 측정 및 real-world 로봇 롤아웃 평가