EBench: 범용 모바일 조작 정책의 요소별 진단

왜 중요한가

EBench는 단일 성공률 대신 5개 능력 축과 4개 일반화 차원으로 성능을 분해하는 시뮬레이션 벤치마크이다. 다양성 높은 26개 작업과 91.4시간의 데모로 장기, 정밀, 모바일 조작을 동시에 평가하여 사전학습이 일반화에 미치는 영향을 수치로 분리할 수 있다.

핵심 기여

통합 코드베이스·평가 인프라

데이터 합성(teleoperation + key-frame pose + cuRobo), 평가 라이브러리(공통 evaluation primitives와 stage-graph 점수 산출), 분산 실행기로 구성된 오픈소스 벤치마크 인프라를 제공한다. 전체 검증 분할을 8개의 소비자 GPU로 약 30분 내에 완료하는 런너를 포함한다.

광범위·주석화된 작업군

26개 작업(10 mobile pick-and-place, 9 long-horizon, 7 dexterous-and-precise)을 수집하고 각 작업을 scene, atomic skill, temporal horizon, precision, operating mode의 5개 축으로 태깅했다. 작업별로 SR(이진 성공)과 stage-wise partial score가 계산되어 단일 스칼라를 능력 좌표로 분해한다.

제어된 OOD 평가와 사전학습 민감도 분석

Background, Object, Instruction, Mix의 4개 일반화 차원을 자산 수준에서 분리해 테스트 세트를 구성한다. π0, π0.5, XVLA, InternVLA-A1을 동일한 후처리 학습(recipe: 200K steps, batch 128, AdamW, peak lr=1e-5)으로 평가하여 사전학습이 EBench에서 +9~+21 SR 포인트 이득을 낸다는 결과를 산출했다.

핵심 아이디어 이해하기

문제 출발점과 기존 한계: 로봇 조작 정책 성능을 단일 성공률로만 기록하면 장기 계획 능력, 정밀 제어, 모바일 내비게이션 등 서로 다른 능력의 상쇄(masking)가 발생한다. 예컨대 한 모델이 쉬운 mobile 작업에서 높은 SR을 얻으면 동일 벡터에서의 취약한 dexterous 능력이 전체 점수에 가려질 수 있다. 기존 벤치마크는 대체로 한 가지 작전 영역(예: tabletop pick-and-place)이나 단일 능력 축에 치우쳐 있어 이 문제를 보완하지 못했다.

방법론

접근 개요: EBench는 26개 작업을 5개의 capability axes(장면, atomic skill, horizon, precision, operating mode)와 4개의 generalization dimensions(Background, Object, Instruction, Mix)으로 주석화하고, 데모 합성은 두 트랙으로 수행한다. 평가 파이프라인은 IsaacSim 서버와 VLA/WAM 클라이언트 구조를 사용하며 공통 evaluation primitives를 바탕으로 stage-graph 방식의 점수 산출기를 적용한다.

주요 결과

메인 벤치마크 결과: 네 모델(π0, π0.5, XVLA, InternVLA-A1)의 Test SR는 24.4%–29.5% 범위로 근접하지만 능력 프로필이 크게 상이하다. π0.5는 Test SR 29.5%와 retention 0.92를 기록했고, InternVLA-A1는 mobile 성능에서 우수(약 34.7%)하지만 dexterous 고정 기반에서는 SR 5.8%로 급락해 mobile↔dexterous 간 격차가 29포인트에 달했다. 정밀도·호라이즌·원자 기술별로 모델별 우위가 뚜렷이 갈렸다.

기술 상세

전체 아키텍처 구조: 서버-클라이언트 구조를 채택하여 IsaacSim이 물리·렌더링을 담당하고, 클라이언트는 VLM+action head(예: DiT action head)를 사용해 관측에 따라 액션을 생성한다. 단일 모델 체크포인트가 dual-arm+mobile base의 통일된 액션 스페이스를 받아 모든 작업에서 평가된다. 액션 스페이스는 각 팔에 6-DoF joint position 또는 6-DoF end-effector pose + gripper width, 베이스에 planar (x, y, yaw rate) velocity 명령을 포함한다.

한계점

논문에서 명시된 한계는 다음과 같다. (1) EBench는 전적으로 시뮬레이션 기반이며 시뮬레이션 점수가 실물 로봇 성능을 직접 예측한다고 주장하지 않는다. (2) 26개 작업은 9개 장면 범주를 포괄하지만 장면별 샘플이 희소해 장면 수준 순위는 예비적이다. 확장(예: 50개 이상 작업)은 로드맵에 포함되어 있다.

실무 활용

EBench의 코드·데이터·평가 도구는 공개 저장소에서 이용 가능하여 연구자와 개발자가 동일한 기준으로 일반ist manipulation 정책을 비교할 수 있다. 벤치마크는 모델 설계 방향 결정(예: 정밀 제어 강화 vs 모바일 내비게이션 최적화)에 유용한 진단 신호를 제공한다.

사전학습 효과 검증: 사전학습된 checkpoint와 from-scratch 학습 결과를 정량적으로 비교하여 pretraining의 기여도를 산정한다.
모델 선택 기준 수립: 특정 배포 도메인(예: 주방 vs 슈퍼마켓)에서의 장단점을 capability profile로 판단해 아키텍처·데이터 선택에 반영한다.
데이터 수집 전략 설계: dexterous 작업은 teleoperation을, 장기·모바일 작업은 key-frame+motion planner(cuRobo)로 효율적으로 합성하는 워크플로를 적용한다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

generalist manipulation policies(범용 조작 정책)simulation benchmark(시뮬레이션 벤치마크)capability dimensions(능력 축)generalization dimensions(일반화 차원)teleoperation(원격 조종 데모 수집)stage-graph scoring(단계 그래프 점수화)

용어 해설

비전-언어-동작 모델(Vision–Language–Action (VLA)): — 시각 입력(RGB 등), 자연어 지시문, 그리고 로봇 동작 출력을 하나의 모델로 연결하는 정책 계열이다. 이미지/언어 인코더로 환경과 목표를 이해한 뒤 action head가 모터/그리퍼/기저 동작을 출력하여 로봇을 제어한다. 본 논문에서는 π0, π0.5, XVLA, InternVLA-A1 같은 VLA들이 EBench에서 비교 대상이다.
능력 축(Capability Dimension): — 각 작업을 평가할 때 모델 성능을 분해하는 축이다. EBench에서는 scene, atomic skill, temporal horizon, precision, operating mode의 5개 축으로 작업을 태깅하여 단일 성공률을 해석 가능한 능력 프로필로 분해한다. 이로써 특정 능력(예: high-precision, long-horizon)에서의 약점과 강점을 수치화할 수 있다.
일반화 차원(Generalization Dimension): — 훈련-평가 분포의 변화를 통제하는 축이다. EBench는 Background(텍스처·조명), Object(미지의 객체 인스턴스), Instruction(지시문 바리에이션), Mix(이들 결합)의 4개 차원을 별도로 평가하여 지각·언어·물리 일반화 영향을 분리한다.
단계 그래프(Stage Graph): — 작업을 순차적 단계로 분해한 그래프 구조로, 각 단계는 시뮬레이터 상태에서 계산되는 evaluation primitive(장면 그래프 관계, 관절 각도, 객체 기울기 등)로 조건이 정의된다. 단계 단위 점수 누적으로 부분 진행도(score)를 측정하고, 마지막 단계 달성 시 binary success(SR)를 부여한다.
원격 조종 데모 수집(Teleoperation): — 사람이 조종하는 방식으로 dexterous-and-precise 작업의 데모를 수집하는 절차이다. EBench는 7개 정밀 작업에 kinematically isomorphic actor-follower teleoperation을 적용하여 접촉·미세 보정이 필요한 상호작용을 캡처했다.