EgoSteer: 에고센트릭 비디오로부터 학습한 조종 가능한 양손 조작을 위한 풀스택 시스템

언어 기반 자유형 명령을 정교한 양손 조작으로 전환하는 능력은 범용 로봇 정책의 핵심 기능이다. 본 논문은 대규모 에고센트릭 비디오로부터 로봇 제어에 적합한 행동·언어·기하학 신호를 자동으로 정제하고, 이를 실제 로봇에 효율적으로 접목시키는 전체 스택을 제시했다. 이 접근은 실세계 데이터 수집 비용을 줄이면서 언어유도 조작과 실패 복구 능력을 동시에 확보하는 실용적 경로를 제공한다.

기존의 인간 에고센트릭 영상은 손 조작에 관한 풍부한 정보원을 제공하지만 카메라 흔들림, 가려짐, 단일 뷰 깊이 부재 등으로 인해 로봇 행동 학습 신호로 직접 사용하기 어렵다. 본 논문은 대규모의 원시 비디오를 체계적으로 정제하여 카메라 외부파라미터와 세계좌표 기반 손 궤적, 다중 수준의 자연어 지시로 정렬함으로써 인간 조작으로부터 로봇에 유용한 신호를 생성하는 것을 출발점으로 삼았다. 이 정제는 이후 모델이 물리적 상식과 언어지침을 일관되게 학습하도록 하는 전처리 관점의 핵심이다. 학습 모델 측면에서는 시각·언어 이해와 연속적 행동 생성을 동일한 표현공간에서 처리하는 것이 필요하다. EgoSteer는 대형 비전-언어 백본을 상태·이미지·지시의 컨텍스트로 사용하고, flow 기반의 액션 익스퍼트가 과거 히스토리와 예약된 행동 프리픽스를 조건으로 행동 청크의 선형 속도장을 회귀하도록 학습한다. 이러한 구성은 연속적 연산 과정에서 행동 분포를 안정적으로 모델링하고, 실시간 제어를 위한 청크 전환을 부드럽게 만드는 데 기여한다. 미래 예측 능력이 행동의 정확도를 향상시킨다는 관찰에 따라 학습 전용의 세계모델 전문가를 두어 행동이 유도할 미래 프레임의 DINOv3 특징을 예측하게 하였다. 이 모듈은 백본 표현이 행동을 상상하도록 유도해 미세 조작 정확도를 증가시키는 반면 추론 시 오버헤드는 남기지 않는다. 결과적으로 대규모 정제 데이터와 세계모델 기반의 보조 감독, 그리고 실시간 청크 실행이 결합되어 언어유도·실행 연속성·실세계 복구 능력이 동시에 개선되는 것이 핵심 직관이다.

전체 접근은 세 부분으로 분할된다. 첫째, EgoSmith 파이프라인이 원시 에고센트릭 비디오를 프리필터링으로 노이즈 세그먼트를 제거하고 DPVO 기반 카메라 추적과 Any4D 기반 깊이 예측을 결합해 메트릭 스케일의 4D 손-카메라-세계 정합을 생성한다. 둘째, 생성된 영상·궤적에 대해 Qwen3.5-VL-Plus를 이용해 5단계 계층의 언어 지침을 생성하고 에피소드·청크·프레임 수준의 후처리 필터로 품질을 보증한다. 로봇 스택 측면에서는 텔레오퍼레이션 장비로부터 얻은 인간의 SE(3) 손목 포즈와 장갑 기반 관절 상태를 동일한 FK/IK 파이프라인으로 로봇에 매핑한다. 개입(hand-over) 처리 시에는 개입 시작 시점의 로봇 상태와 인간 상태를 기록하고 이후 인간의 상대변화(ΔT, Δq)를 로봇 상태에 더하는 방식으로 상태 점프를 방지하며, 개입 구간만 DAgger 학습 데이터로 사용한다. 이 설계로 원격 제어와 자동 실행 간 실행학적 일관성을 유지했다. 모델 학습은 Qwen3-VL 백본과 DiT 기반 액션 익스퍼트의 결합으로 이루어진다. 입력은 명령문, 연속 이미지 히스토리, 현재 카메라 프레임으로 정규화된 상태 히스토리를 포함하며 출력은 카메라 프레임 기준의 상대적 행동 청크이다. Conditional Flow Matching 손실을 사용해 노이즈 섞인 suffix 벡터의 선형 속도장을 예측하도록 학습하고, training-time RTC로 prefix를 예약한 뒤 suffix를 비동기적으로 덴오이즈하여 실행 공백을 제거한다. 추가적으로 세계모델 전문가는 행동과 상대 카메라 운동을 입력으로 받아 미래 프레임의 DINOv3 특징을 회귀한다. 이 모듈은 백본 레이어에 주기적으로 어텐션을 걸어 표현을 조정하고 학습시에는 보조 손실로 작동하되 추론 단계에서는 제거되어 계산 비용을 증가시키지 않는다. 학습 인프라에서는 HSDP, mixed-precision, torch.compile, FlexAttention, WebDataset 스트리밍을 결합해 대규모 데이터 처리와 GPU 활용 효율을 확보했다.

사전학습은 3K, 6K, 9.6K시간 규모로 비교 실험을 수행했고 포스트트레이닝은 187시간 텔레오퍼레이션 데이터로 진행했다. 최종 평가에서 EgoSteer는 40개 작업 전반에서 평균 성공률 75%를 달성했고 22개 작업에서 80% 이상의 성공률을 기록하여 다수 작업에서 실용적 성능을 보였다. 특히 구성적 일반화 작업에서 평균 65% 성공률을 보였고, 전혀 보지 못한 작업에서는 평균 62%를 달성해 사전학습의 범용성이 확인되었다. DAgger 보정의 효능을 정량적으로 확인했다. 텔레오퍼레이션으로만 학습한 EgoSteer-FT의 평균 성공률은 22.5%였으나 세 번의 DAgger 반복을 통해 추가로 수집한 8.3시간의 보정 데이터를 적용한 EgoSteer-DG의 평균 성공률은 62.5%로 상승했다. 이 결과는 배포 중 발생하는 실패에 대해 표적 보정 시 적은 시간으로도 큰 성능 개선이 가능함을 의미한다. 모델 구성 요소의 중요성은 제거 실험에서 드러났다. 세계모델 목표를 제거한 변형은 미세 조작 정확도가 크게 하락했고, RTC를 제거하면 실행 중 행동 공백과 진동이 발생해 접촉 중심 작업이 실패했으며, 에고스미스의 전·후처리를 제거한 노이즈 데이터는 수렴 실패를 일으켜 명령-행동 정렬이 무너졌다. 또한 few-shot 적응 실험에서 9.6K 사전학습 모델은 박스 접기와 케이크 언박싱에서 각각 75%와 83%의 성공률을 달성했으나, DP(확산정책)과 IMLE 및 스크래치 기반 학습은 해당 작업에서 전부 실패했다.

전체 아키텍처는 Qwen3-VL 백본과 DiT 기반 액션 익스퍼트로 구성되며 입력은 명령 l, 카메라 내재행렬 K, 이미지 히스토리 I_{t-k+1:t}, 그리고 카메라 프레임 기준의 상태·행동 시퀀스이다. 상태 s와 행동 a는 양손의 3차원 손목 변위, 6D 회전, 그리고 15차원 손끝 키포인트를 포함하는 48차원 벡터로 통일되어 인간 데이터와 로봇 데이터 간 표현 차이를 줄였다. 행동 청크 a_{t:t+h-1}은 현재 카메라 프레임 기준으로 상대값으로 표현되어 실행 시 프레임 일관성을 보장한다. Conditional Flow Matching(CFM) 손실은 목표 suffix 행동 a_{suf}의 선형 속도장 v를 예측하도록 학습한다. 학습 과정에서 노이즈 ε∼N(0,I)와 스케일 파라미터 η∈[0,1]을 사용해 tilde{a}{suf}=(1−η)ε+η a{suf}를 생성하고, 모델 π(tilde{a}{suf},η,C_t)이 예측한 값이 (a{suf}−ε)와 L2 거리로 정합되도록 회귀한다. 입출력 흐름 관점에서 입력은 컨텍스트 C_t와 노이즈 혼합된 타깃 tilde{a}{suf}이고 연산은 속도장 회귀이며 출력은 노이즈 보정된 suffix 방향으로, 이는 샘플링 시 연속적 행동의 확률적 경로를 안정적으로 복원하는 역할을 한다. 세계모델 전문가는 행동 a{t:t+h-1}과 상대 카메라 변환 ΔT를 입력으로 받아 미래 프레임 I_{t+h-1}의 DINOv3 특징을 회귀한다. 이 모듈은 길이 L의 학습 가능 쿼리 z_{0:L-1}을 사용해 백본의 중간 레이어에 주기적 어텐션을 걸어 표현을 안내하며 네 층의 경량 Transformer로 설계되어 학습 시에만 그라디언트를 백본 방향으로 유도하고 추론 시에는 제거된다. 이러한 설계는 생성적 픽셀 예측 대신 특징 회귀를 통해 더 안정적인 감독을 제공하고 백본이 행동을 상상하도록 돕는다. Real-Time Chunking은 행동 청크의 앞부분 a_{pre}=a_{t:t+d-1}를 예약 실행하고 이후 suffix를 비동기적으로 예측해 전환한다. 학습 시에는 무작위 지연 d를 샘플링하여 모델이 suffix를 denoise하도록 훈련함으로써 실제 실행 시 예약된 prefix와 예측 suffix 사이에 갭이 생기지 않도록 보장한다. 인프라 측면에서는 HSDP를 통한 파라미터 샤딩과 통신-계산 오버랩, torch.compile과 FlexAttention을 통한 커널 수준 최적화, WebDataset 스트리밍으로 I/O 병목을 완화하여 8-A800 노드에서 MFU 44.5%와 처리량 97 샘플/초를 달성했고 128 GPU까지 거의 선형으로 확장되었다.

논문에서 명시한 첫 번째 한계는 로봇의 가용 자유도(DoF) 제약으로 인해 완전한 인간의 미세 조작 기술을 그대로 전송할 수 없다는 점이다. 두 번째 한계는 데이터셋과 모델, 그리고 실험된 구현체 전반에서 촉각 피드백이 빠져 있어 접촉 중심의 복잡한 조작 성능이 제한된다는 점이다. 세 번째로는 사전학습 규모를 더 확대함으로써 더 넓은 priors를 포착하고 보지 못한 작업에 대한 일반화를 더욱 향상시킬 필요가 있다는 점이 제시되었다.