RoboDojo: 범용 로봇 조작 정책의 종합 평가를 위한 통합 시뮬레이션·실세계 벤치마크

일반화 가능한 범용 로봇 조작 정책의 진전에는 시뮬레이션 기반 진단과 실세계 배포 검증을 결합한 일관된 평가가 필요하다. RoboDojo는 시뮬레이션에서 빠른 반복 평가를 지원하는 42개 과제와 재현 가능한 실세계 원격 평가를 위한 18개 과제를 함께 제공하여 두 환경을 연결하는 통일된 루프를 마련했다. 이로 인해 연구자는 시뮬레이션에서의 개선이 실물 배포에서 어떻게 반영되는지를 체계적으로 확인할 수 있다.

범용 로봇 조작 정책의 평가는 단순히 성공률 한 가지 지표만으로는 성능의 결점을 진단하기 어렵다. 로봇 조작에는 시각적 일반화, 과거 관찰 정보의 활용, 미세한 공간 정밀성, 여러 단계로 이어지는 장기 수행, 그리고 개방형 언어 지시의 의미 해석이 동시에 요구되어 각 능력 축별로 별도의 진단이 필요하다. RoboDojo는 이러한 각 능력 축을 분리된 평가 세트로 설계하여 어떤 정책이 어느 축에서 약한지를 정밀하게 드러내는 것을 핵심 직관으로 삼았다. RoboDojo는 시뮬레이션과 실세계의 장점을 상호보완적으로 활용한다는 점에서 기존 단일 환경 벤치마크와 차별화된다. 시뮬레이션은 빠른 반복과 광범위한 장면 무작위화를 통해 능력별 스트레스 테스트를 제공하며, 실세계는 센서 노이즈·접촉 동역학·구동 오차 같은 물리적 요인을 드러내 실제 배포 가능성을 검증한다. 두 환경을 동일한 정책 인터페이스로 연결하면 시뮬레이션에서의 개선이 실제 배포에서 어떻게 전이되는지, 그리고 전이되지 않는 경우 어떤 하위 요소(정밀 제어, 접촉 복구 등)가 병목인지 파악할 수 있다. 또한 RoboDojo는 평가의 재현성과 공정성을 핵심 목표로 설정했다. 이를 위해 실세계 평가 플랫폼인 RoboDojo-RealEval은 하드웨어 레이아웃·조명·카메라 위치·장면 리셋 절차를 표준화하고, 원격 클라우드 평가와 이중 블라인드 채점 프로토콜을 도입하여 서로 다른 제출물과 세션 간 일관된 비교가 가능하도록 했다. 이러한 설계는 단순한 점수 경쟁을 넘어서 실제 배포 안정성, 행동의 시간적 부드러움, 복구 능력 등 운영적 속성까지 평가의 범위로 포함시키는 직관을 반영한다.

전체 접근 방식은 세 구성 요소로 요약된다: 시뮬레이션 평가 플랫폼, 실세계 원격 평가 플랫폼, 그리고 정책 통합을 위한 XPolicyLab 인프라이다. 시뮬레이션 플랫폼은 Isaac Sim과 MagicSim 기반의 설정 파일(YAML)로 장면을 구성하고, 각 리셋 시에 객체 포즈·배치·조명·배경 텍스처를 결정하는 결정론적 시드 제어를 제공하여 재현 가능한 무작위화를 수행한다. 이 설계는 동일한 런타임에서 서로 다른 태스크 스펙을 독립적으로 인스턴스화할 수 있게 하여 heterogeneous parallel simulation을 가능하게 했다. 핵심 메커니즘은 자산 어노테이션과 기술 재사용 기반의 시연 합성에 있다. 각 자산은 잡기 가능한 영역, 배치 영역, 상호작용 포인트 같은 조작용 메타데이터를 포함하며, 자동 합성 모드에서는 재사용 가능한 저수준 기술들(grasp, place, handover, insert 등)을 조합해 데모를 생성한다. 합성이 어려운 장면은 VR 기반 텔레오퍼레이션으로 고품질 데모를 수집하고, 수집된 궤적은 검수 과정을 통해 프레임 단위로 필터링하여 훈련 데이터로 정리했다. 평가 측면에서는 시뮬레이션에서 각 태스크를 50 에피소드로 실행하고 Generalization 태스크는 표준 25 에피소드와 랜덤 25 에피소드로 분리하여 표준·무작위 설정 간 성능 저하를 정량화한다. 실세계 평가는 RoboDojo-RealEval을 통해 각 태스크당 10회 평가, 세 명의 평가자에 의한 이중 블라인드 채점으로 최종 점수를 산출한다. 또한 리더보드 검증을 위해 제출 모델은 세 개의 랜덤 시드 평균 및 표준편차를 보고하도록 요구되며, 공개 레이아웃과 숨김 검증 레이아웃을 병행하여 과적합을 억제한다.

시뮬레이션 리더보드 결과는 현재 범용 조작 정책과 인간 원격조작자 간에 큰 성능 격차가 존재함을 드러냈다. 최고 성능 정책이 평균 성공률 약 8.80%와 평균 점수 13.07을 기록한 반면 인간 텔레오퍼레이터는 약 76.03% 성공률과 80.42 점수를 기록하여 실용적 완성도에는 상당한 간극이 존재한다. 이 결과는 다양한 능력 축에서 현재 정책들이 부분적 진전을 이루었으나 균형 잡힌 범용성에는 미치지 못함을 의미한다. 도메인 랜덤화 실험은 장면 수준 무작위화가 대다수 정책의 성능을 광범위하게 붕괴시킨다는 점을 보여주었다. 표준 설정에서 강세를 보이던 모델도 랜덤화 환경에서 대규모 성능 하락을 보였으며, Spatial Forcing 같은 공간적 그라운딩 설계가 상대적 유지율을 개선했지만 절대 성능은 여전히 낮았다. 이 결과는 시각적 인지 향상만으로는 공간적 정밀성·폐루프 제어·복구 행동과 같은 저수준 제어 문제를 해결할 수 없음을 시사한다. 실세계 리더보드에서는 시뮬레이션 성능과 완전한 정렬이 이루어지지 않았고 배포 관련 불안정성이 두드러졌다. 최고 정책의 전체 실세계 성공률은 약 12.8%였고 인간 원격 조작자의 100%와 큰 차이를 보였다. 실세계는 제어 신호의 진동, 접촉 불안정, 안전 관련 행동 등 시뮬레이션에서는 완전히 드러나지 않는 결함을 노출했으며 이는 배포 지향적 안정성 개선이 필요함을 의미한다.

전체 아키텍처는 세 모듈로 구성된다: Isaac Sim 기반 시뮬레이션 플랫폼, RoboDojo-RealEval 실세계 플랫폼, 그리고 XPolicyLab 정책 통합 레이어이다. 시뮬레이션 플랫폼은 MagicSim의 모듈식 매니저 아키텍처와 YAML 기반 장면 사양을 사용하여 각 리셋 시에 객체, 포즈, 조명, 배경 텍스처를 결정하는 결정론적 시드를 지원하며, 이를 통해 재현 가능한 무작위화와 장면 다양성을 동시에 확보했다. 디지털 자산 라이브러리는 Meshy AI 등에서 수집한 강체·관절·변형 자산을 물리 파라미터와 충돌 기하로 표준화하여 접촉이 많은 조작에서 안정적인 거동을 유지하도록 준비했다. 핵심 알고리즘적 구성은 이질 병렬 시뮬레이션과 자산 어노테이션 기반의 데모 합성이다. heterogeneous parallel simulation은 벡터화 인터페이스 아래에서 각 환경이 서로 다른 장면 템플릿을 가지도록 하여 병렬 처리 효율과 장면 다양성의 트레이드오프를 해소했다. 자동 합성 모드는 재사용 가능한 저수준 스킬(grasp, place, handover, insert 등)을 cuRobo v2 모션 플래너로 실행하여 대량의 데모를 합성하고, VR 텔레오퍼레이션은 합성이 어려운 과제의 고품질 데모를 확보하는 보완 수단으로 사용되었다. 평가 및 검증 절차는 수치 측정과 재현성 제어에 중점을 두었다. 시뮬레이션에서는 각 과제당 50 에피소드(Generalization은 표준 25 + 랜덤 25)를 실행하고 성공률과 평균 점수를 모두 보고한다. 실세계 검증은 각 과제당 10회 시험과 세 명의 이중 블라인드 평가자 점수의 평균을 사용하며, 제출 모델은 3개의 랜덤 시드 결과와 숨김 레이아웃 검증을 충족해야 공식 리더보드에 등재된다.

논문이 명시적으로 언급한 한계는 실세계 평가가 하드웨어 비용, 실행 시간, 인간 리셋 노력 및 안전 고려 때문에 포괄적이지 않고 소형의 도전적 테스트셋으로 설계되었다는 점이다. 또한 RoboDojo는 시뮬레이션과 실세계 간에 과제의 일대일 매칭을 전제하지 않으며, 따라서 sim-to-real 성능의 직접적인 정량적 전이를 측정하는 전용 벤치마크로 설계되지는 않았다. 숨김 레이아웃 검증과 공개 레이아웃 사용으로 과적합을 억제하려는 장치가 존재하지만, 시간이 지남에 따라 리더보드 게임화나 과도한 휴리스틱 튜닝 위험이 잔존할 수 있음을 언급했다.