RynnWorld-Teleop: 행동 조건형 세계 모델을 활용한 디지털 텔레오퍼레이션 데이터 엔진

로봇 학습에 필요한 대규모 다변화된 궤적 수집은 물리적 원격조작에서 운영·하드웨어 제한에 의해 병목이 발생했다. 본 연구는 실제 로봇 대신 행동-조건형 생성 세계 모델을 사용해 조작자의 손 포즈를 실시간으로 로봇 관점의 실행 영상과 정렬된 관절 행동으로 변환함으로써 운영 제약을 제거했다. 이런 접근은 데이터 수집 속도를 조작자의 상상력으로 확장하고, 합성 데이터로 학습한 정책이 실제 환경에서 제로샷으로 동작하는 근거를 제공했다.

문제 출발점과 기존 한계에 대한 정의는 다음과 같다. 로봇 조작 정책 학습에는 대규모의 다양한 상태-행동 궤적이 필요하지만 물리적 원격조작은 하드웨어와 작업공간에 데모가 결속되어 있어 수집량이 연산적으로 제한된다. 기존 인간-대-로봇 변환 또는 액션-조건형 세계 모델은 시각적 품질이나 액션 제공 중 하나만 제공하거나 실시간 상호작용을 지원하지 못해 데이터 엔진으로서의 요구를 충족하지 못했다. 이러한 한계는 대규모 일반화와 장시계열 일관성을 가진 로봇 학습 데이터 생산을 가로막았다. 이 논문의 해결 원리는 세 가지 축에서 작동한다. 첫째, 인간 손 포즈 스트림을 깊이 인식 골격으로 렌더링하여 2D 입력에 깊이·가시성 단서를 추가하고 이를 VAE로 잠재화해 제어 조건으로 사용했다. 둘째, 사전학습된 Video Diffusion Transformer 기반 생성기 위에 제어 패치 임베딩을 병렬로 추가하고 분포 정렬(additive fusion)로 결합하여 사전 가중치의 분포를 파괴하지 않고 동작 신호를 통합했다. 셋째, 양방향 교사를 인과적 학생으로 증류하는 단계적 절차로 스트리밍 성능을 확보하여 실시간 제어 루프에 투입 가능한 생성 속도를 실현했다. 이 접근이 가능하게 하는 변화는 구체적이다. 분포 정렬과 깊이 인식 골격으로 행동-시각 정합성을 강화함으로써 생성된 데이터는 단순한 시각적 유사성을 넘어 행동과 연속적으로 정렬된 상태-행동 쌍을 생산하게 되었다. 점진적 사전학습-로봇 적응-증류 파이프라인은 제한된 로봇 데이터로도 물리적 상호작용의 유의미한 prior를 전이시키며, 결과적으로 합성 데이터만으로도 일부 과제에서 제로샷 전이가 가능해졌다. 또한 인과적 학생의 4-step 샘플링은 실시간 제어 주파수(약 40 FPS)를 확보하여 생성기와 실제 로봇 제어의 시간적 요구를 맞추었다.

전체 접근 방식은 입력 손 포즈 스트림과 단일 참조 이미지로부터 로봇 관점의 실행 비디오와 동기화된 로봇 행동 벡터를 생성하는 파이프라인으로 구성된다. 입력 손 포즈는 21관절로 표현되어 깊이 기반 색상과 직경으로 렌더링된 골격 비디오로 변환되며, 이 골격 비디오는 미리 학습된 VAE 인코더를 통해 비디오 잠재와 동일한 차원·시간·공간 구조의 제어 잠재로 투사된다. 참조 이미지는 장면의 시각적 정체성을 유지하는 정적 조건으로서 잠재로 인코딩되어 생성 초기 상태의 관성 역할을 수행한다. 핵심 메커니즘은 분포 정렬을 통한 제어 융합과 자동회귀 증류에 있다. 제어 잠재는 비디오 잠재의 평균과 표준편차에 맞추어 정규화된 뒤 제로 초기화된 제어 패치 임베딩과 게이팅 스칼라를 통해 더해진다. 이 additive scheme은 사전학습된 DiT의 분포를 보존하면서 제어 신호의 점진적 도입을 허용하여 미세 조작 제어를 학습 가능하게 했다. 증류 단계는 먼저 인과적 흐름 일치로 학생을 시간적 인과성에 맞춰 초기화한 뒤 Distribution Matching Distillation(DMD)을 적용하여 소수의 denoising 스텝으로 교사 분포를 근사하게 했다. 학습 전략은 두 단계의 도메인 전이로 설계되었다. Stage 1에서는 EgoDex와 VITRA 같은 대규모 인간 시점 데이터로 DiT를 사전학습하여 조작 사전지식을 흡수했고 Stage 2에서는 1,800개의 인간-로봇 페어 에피소드로 파인튜닝하여 기구학적 격차를 줄였다. 파인튜닝은 LoRA 기반 저랭크 어댑테이션과 전체 파라미터 SFT를 모두 실험하여 학습 효율과 품질의 절충을 검토했고 결국 분포 정렬된 제어 브랜치를 함께 학습함으로써 로봇 중심의 출력 생성을 확보했다.

주요 성능 평가는 생성 품질(PSNR, SSIM, LPIPS, FVD), 실시간 처리률(FPS), 그리고 생성 데이터로 학습한 정책의 실세계 성공률로 이루어졌다. 생성 성능표에서 RynnWorld-Teleop(LoRA)는 EgoDex-Test에서 PSNR 26.08, SSIM 0.876, LPIPS 0.151, FVD 585를 달성하여 일반 목적 I2V 모델과 기존 액션-조건형 모델 대비 의미 있는 개선을 보였다. 인과적 학생 모델은 실시간성 측정에서 480×832 해상도 기준 약 40.0 FPS, 프레임당 평균 지연 약 25 ms를 달성하여 제어 루프 요구를 만족했다. 정책 학습 실험에서는 세 가지 정책 기반에 합성 데이터를 300 에피소드씩 추가하는 실험을 수행했고 대부분의 과제에서 성공률이 증가했다. 특히 정밀도가 요구되는 Lid Placement 과제에서 π0.5의 성공률이 42.86%에서 62.86%로, π0은 34.29%에서 54.29%로 각각 약 20%p 향상했다. 합성 데이터만으로 학습한 π0 모델은 Block Pushing에서 82.86%, Bimanual Lifting에서 77.14%의 성공률을 보여 제로-리얼 데이터 시나리오에서도 경쟁력 있는 성능을 나타냈다. 추가 분석으로 t-SNE 기반 특징 분포 시각화에서는 RynnWorld-Teleop 생성 데이터와 실제 데이터의 고수준 임베딩이 상당한 중첩을 보여 시각·의미적 분포 정합이 확보되었음을 확인했다. 또한 제거 실험에서 인간 사전학습을 생략하면 FVD가 크게 악화되고 시각적 품질 붕괴가 발생하여 점진적 학습이 필수임이 검증되었다.

전체 아키텍처는 3D VAE 인코더·디코더와 Transformer 기반의 Video Diffusion Transformer(DiT)로 구성되며 입력으로 참조 이미지 잠재와 제어 잠재를 받는다. 깊이 인식 골격은 21관절의 2D 렌더링으로 만들어져 색과 직경으로 깊이 신호를 인코딩하고 이를 VAE로 잠재화하여 시간·공간 정렬된 제어 텐서를 생성한다. 제어 브랜치는 독립적 PatchEmbed로 구현되며 정규화된 제어 잠재를 비디오 잠재 분포에 맞추어 가감함으로써 분포 혼란을 방지한다. 수학적 학습 목적은 conditional flow matching 프레임워크에 기반하며 노이즈-데이터 경로 상의 속도장 예측을 목표로 한다. 교사 모델은 양방향 디퓨전 과정을 통해 고품질 출력을 생성하고 학생 모델은 인과적 마스크와 KV 캐시를 사용하는 스트리밍 구조로 재구성된다. 학생 학습은 먼저 인과적 흐름 일치 손실로 속도장 회귀를 안정화시키고 그 다음 Distribution Matching Distillation을 통해 소수 스텝 샘플링으로 교사 분포를 근사하도록 미세 조정한다. 구현 및 학습 세부사항은 대규모 자원과 최적화를 포함한다. 사전학습 및 파인튜닝은 Wan-2.2-TI2V-5B 기반으로 64개의 NVIDIA H100 GPU에서 총 2,000 스텝 이상의 파인튜닝을 거쳤고 LoRA(rank 64)와 전체 파라미터 SFT를 병행 실험했다. 실시간 학생은 4-스텝 샘플링과 DMD 정제, 고정 크기 KV 캐시를 사용해 480×832 해상도에서 약 40 FPS 처리를 달성했다.

논문에서 명시한 한계는 복잡한 유체 역학이나 고도로 변형 가능한 물체 조작에서 모델이 여전히 성능 저하를 보인다는 점이다. 현재 접근법은 플랫폼별 파인튜닝을 필요로 하여 로봇 함대 전반에 대한 즉시적 확장성에 제약이 존재한다. 이러한 한계를 극복하려면 더 풍부한 상호작용 데이터와 로봇 기구학 기술자를 조건으로 하는 범용적 세계 모델 연구가 요구된다.