MobileEgo Anywhere: 상용 하드웨어에서 장시간 에고센트릭 데이터를 수집하기 위한 오픈 인프라

Vision-Language-Action 모델의 사전학습은 긴 시퀀스의 행동-상호작용 신호가 필요하지만 기존 데이터셋은 짧고 특수한 장비로 한정된다. MobileEgo Anywhere는 ARKit가 제공하는 6 DoF 포즈 추적과 소비자용 스마트폰을 활용해 200시간 규모의 장형 에고센트릭 데이터를 수집·가공하는 오픈 인프라를 제시한다. STERA 파이프라인, 무상 앱, 200시간 데이터셋의 공개로 연구 커뮤니티의 하드웨어 진입장벽을 낮추고 VLA 및 Foundation Model 프리트레이닝의 데이터 소스를 확장한다.

출발점: 장시간 에고센트릭 데이터는 로봇 정책 학습에서 핵심이나, 기존 데이터는 짧거나 하드웨어 제약으로 수집이 제한된다. 이 문제를 해결하기 위해 스마트폰의 ARKit을 활용해 6 DoF 포즈를 실시간으로 추적하고, MCAP 포맷으로 로그를 기록한 뒤, STERA를 통해 이를 3D 핸드 트레이젝토리와 구체적 라벨로 변환한다. 자동 어노테이션과 계층적 지시 트리는 긴 시간 스케일에서의 구조를 모델이 학습하도록 돕고, Open 인프라로 연구 커뮤니티에 데이터 확장을 허용한다. 이 인프라는 584세션의 200시간 데이터를 생성하고, VLA 파이프라인의 프리트레이닝에 실질적 트레이닝 시그널로 작동한다.

1. 전체 아키텍처: iPhone Pro에 LiDAR를 장착한 헤드-마운트 구성을 통해 ARKit의 6DoF 포즈와 RGBD를 수집하고, MCap 형식으로 로그를 저장한다. 2) 3D 핸드 추정: WiLoR를 사용해 MANO 파라미터를 추정하고, ARKit 깊이 맵으로 월드 프레임에 정합해 세계 기준의 핸드 트레이젝토리를 얻는다. 3) 원자 라벨링: 비디오를 연속 구간으로 분할하고 VLM이 도구 수정자(색, 재질, 크기) 및 공간 전치사를 포함한 짧은 명령문으로 라벨을 생성한다. 4) 계층적 지시 구조: 세션 목표, 하위 목표, 에피소드를 연결하는 트리를 구성하고, 모든 구간에 정확한 타임스탬프 경계를 보장한다. 5) 데이터 출력: episode, rgb.mp4, annotation.hdf5, train/validation 데이터셋을 생성해 VLA/ Foundation Model 학습에 제공한다.

주요 데이터 및 실험 결과: 584세션, 총 200시간, 평균 세션 길이 20.5분, 최대 108분. ARKit pose 정확도는 Vicon과의 비교에서 대부분의 시퀀스에서 Rel. ATE < 1%, RPE transl < 5 cm, RPE rot < 4°. 장기 드리프트는 환경별로 중간 지점과 세션 종료 시점에서 0.1% 미만의 비율로 나타난다. 미드-트레이닝을 통한 VLA 모델의 손동작 예측 성능은 held-out 손실이 0.265에서 0.214로 감소하고(finger articulation에서 큰 개선),best-of-10 wrist error가(Untrained 554 mm → Mid-trained 70 mm) 크게 개선된다. 또한, 손목-손가락 6-DoF와 핑거 관절 각도 예측의 분포가 생체역학적 한계를 벗어나지 않음을 보여준다.

1. 전체 아키텍처 구성: ARKit 기반 6DoF 포즈 추정, RGBD 로그를 MCAP으로 저장, 오프라인에서 STERA 파이프라인으로 변환. 2) 수학/알고리즘적 기반: WiLoR(MANO 파라미터화)로 핸드 로컬라이제이션 및 재구성 수행; extrinsic 변환으로 글로벌 프레임에 정합. 3) Prior work 대비 차별점: consumer 하드웨어의 상용 iPhone Pro를 활용하고, 초고해상도 Open-Set 핸드 트레이젝토리 및 자동 라벨링 파이프라인을 제공한다. 4) 구현/학습 상세: MCAP 형식의 로그를 처리하는 파이프라인, VLM 기반 자동 캡션으로 200시간 데이터의 라벨링 자동화, 3-레벨 계층적 지시 의도 생성, 10k 스텝의 mid-training으로 손동작 예측 성능 개선 확인.

Platform 의존성: STERA는 현재 iPhone Pro에 최적화되어 있으며 Android ARCore의 깊이 정보는 제한적이다. 열 제약으로 세션 길이가 약 2시간 이상 지속되면 발열 트래핑이 발생할 수 있다. ARKit는 비공개 엔진이므로 일부 성능 측정이 제한적이며, 학습 파이프라인은 오픈-루프 평가에 국한되어 정책 수행은 아직 검증되지 않았다.