EVA-Client 실제 로봇 배포·평가·데이터 수집을 위한 통합 프레임워크

왜 중요한가

훈련된 멀티모달 조작 정책을 물리 로봇에 정확하고 반복 가능하게 적용하는 과정에는 관찰·명령 인터페이스, 지연 보정, 액션 변환, 기록·평가 같은 여러 실시간 문제가 얽혀 있다. EVA-Client는 이러한 배포 관련 구성 요소를 분리된 레이어와 명시적 설정으로 정리해 로봇별 스크립트를 대체하고 배포 과정을 가시화한다. 이로 인해 한 체크포인트를 다른 플랫폼에 적용할 때 코드 변경 없이 구성 파일만으로 재현과 비교가 가능해진다.

핵심 기여

클라이언트 하나로 실물 로봇의 전체 반복 루프를 포괄

EVA-Client는 데이터 수집, 배포, 스무딩, 평가를 단일 코드베이스로 연결하여 체크포인트가 실제 하드웨어에서 닫힌 루프 반복으로 이어지도록 한다. 이 설계는 기존 훈련 프레임워크가 제공하는 체크포인트와 곧바로 결합되어 배포 계층을 다시 작성할 필요를 없앤다. 결과적으로 실험 재현성과 평가의 기록 가능성이 크게 향상된다.

구성 가능하고 로봇 비종속적인 5계층 아키텍처

신호 소스, 전송 미들웨어, 로봇 설명, 추론 전략, CLI/웹 인터페이스를 좁은 인터페이스로 분리하여 각 레이어를 독립적으로 교체할 수 있게 설계되었다. 새로운 로봇이나 전송을 추가할 때는 해당 레이어의 설명 클래스나 드라이버만 구현하면 되므로 전체 스택을 건드릴 필요가 없다. 이 구조는 다양한 하드웨어와 정책 서버를 손쉽게 조합하게 해 배포 재사용성을 높인다.

동기·비동기·앙상블·RTC 등 실시간 추론 전략 통합

EVA-Client는 동기 실행, 비동기 prefetch의 선형 블렌딩, ACT식 시간적 앙상블, naive-async 대조군, 그리고 Real-Time Chunking과 같은 대표적 추론 전략을 하나의 설정 표면 아래에 모아 비교 가능하게 한다. 각 전략은 실행 시 로그로 세 단계(원시 청크, 스무딩 후, 실제 실행)로 기록되어 성능 저하 원인을 모델·버퍼·실행 중 어디에 귀속할지 추적할 수 있다. 이러한 통합은 동일한 하드웨어·체크포인트에서 전략별 행동 차이를 체계적으로 평가하게 한다.

평가를 데이터 수집으로 연결하는 재현 가능한 평가·로깅 파이프라인

EVA-Client의 평가 모드는 장면(scene)과 마일스톤 단위로 시험을 구성하고 각 시도별 비디오, 단계별 로그, 마일스톤 점수, 구성 파일을 보존한다. 모든 평가는 즉시 학습용 레코드가 되어 다음 훈련으로 자동 유입될 수 있도록 LeRobot 포맷으로 저장된다. 이 접근은 물리적 실험의 비가역성을 극복해 평가 결과를 감사 가능하고 재현 가능하게 만든다.

핵심 아이디어 이해하기

출발점은 트레이닝 생태계와 실제 로봇 배포 사이의 불일치이다. 현대의 VLA/VAM/WAM 계열 정책은 미래 행위의 청크를 반환하는데, 물리 세계에서는 이 청크들을 실시간 제어 루프에 일관되게 적용하는 작업이 필요하다. 단순히 서버로부터 청크를 받아 로봇에 순차 투사하면 지연과 경계 불연속으로 인해 고속 작업에서는 반응성이, 장기 작업에서는 궤적 연속성이 훼손된다. 이 논문은 문제 해결을 위해 추론 호출 스케줄링과 청크 중첩 처리 로직을 클라이언트 레벨에서 명확히 분리하고 여러 전략을 교환 가능하게 만들었다. 실시간 실행은 제어 루프 주기와 정책 쿼리 주기가 달라 발생하는 지연을 보상해야 하며, 그 수단으로 청크 트리밍, 선형 오버랩 블렌딩, 시간적 앙상블 가중, 그리고 서버 기반 조건화(Real-Time Chunking)를 사용한다. 또한 연산 단위와 로봇 명세를 분리해 정책 출력 공간(조인트 혹은 엔드이펙터)과 로봇의 명령 발행 공간을 자동 변환하는 IK 파이프라인을 삽입했다. 결과적으로 이 접근은 무엇이 달라지는지를 명확히 한다. 동기 방식은 재현성이 높지만 정지-시작(pause-and-go)으로 반응성이 떨어지는 반면 비동기 방식은 제어 루프를 멈추지 않으므로 고속 작업에서 실체적 개선을 제공한다. 시간적 앙상블은 중첩 구간에서 여러 예측을 절대시간 기준으로 통합해 경계 불연속을 완화하고, RTC는 생성 단계에서 이미 실행 중인 액션을 조건화해 모델 자체가 연속성을 보장하도록 유도한다. 이들 기법을 동일한 클라이언트에서 전환 가능하게 한 점이 핵심 직관이다.

방법론

전체 접근은 얇은 클라이언트를 신호 소스와 로봇 실행 사이에 배치하는 구조로 설계되었다. 신호 소스는 정책 서버나 원격 teleoperation일 수 있고, 클라이언트는 관측을 전송해 청크 기반 액션을 수신한 뒤 로봇 전용 실행 레이어로 변환·전달한다. 이때 전송층(ROS1/ROS2/ZMQ/데이터셋 재생)은 동기화된 관측 프레임을 제공하고 로봇 설명 레이어는 액추에이터 그룹·카메라·주제 매핑·선택적 기구학을 선언한다. 핵심 메커니즘은 추론 전략 레이어에 있다. EVA-Client는 동기 실행, 비동기 prefetch의 선형 오버랩 블렌딩, ACT 스타일의 시간적 앙상블, naive replacement, 그리고 Real-Time Chunking을 구현한다. 비동기 선형 블렌딩은 도착한 새 청크의 선행 k 스텝을 잘라내고 겹치는 길이 L에 대해 선형 가중치를 적용해 이전 버퍼와 새 예측을 혼합한다. 시간적 앙상블은 동일 절대 시간에 해당하는 모든 청크 예측을 지수 가중 평균으로 합성해 실행 액션을 계산하며, RTC는 이전에 커밋된 액션을 요청에 포함해 서버가 생성 시 연속성을 직접 조건화하게 한다. 구현 세부에서는 연속 역기구학 연산과 제어 일관성 유지가 결합된다. PyRoki 기반의 연속 IK가 Levenberg–Marquardt 비선형 최소제곱 풀기를 사용해 프레임별 구성을 해결하며 위치·회전·휴식·속도 비용을 최소화한다. 각 프레임은 이전 해로 워밍스타트되어 연속성을 유지하고, 추적 오차 허용치를 초과한 프레임은 플래그로 기록하되 명령은 계속 전송한다. 구성은 선언적 파일로 관리되어 로봇, 전송, 전략, 루프 속도 등 전체 배포를 재현 가능한 형태로 고정한다.

주요 결과

논문은 정량적 벤치마크보다는 실물 배포에서 관찰된 질적 차이를 중심으로 결과를 보고했다. 두 대표 사례로 고역학 테이블테니스와 장기간 안정성이 필요한 천 접기 작업을 제시해 동일한 클라이언트와 체크포인트에 대해 추론 전략만 바꿔 실행한 결과를 비교했다. 테이블테니스에서는 동기 실행이 각 전방전달마다 멈춤을 유발해 랠리가 이어지지 않았고 비동기 스케줄링이 제어 루프를 유지하면서 반응성을 확보했다. 천 접기 과제에서는 장시퀀스의 시간적 일관성이 중요해 중첩 청크의 블렌딩이 궤적 안정성을 개선했다. 논문은 또한 naive-async 대조군과 RTC 같은 서버 조건화 기법을 도입해 경계 불일치의 기여원을 분리할 수 있음을 보였다. 전반적으로 주장된 개선은 실험적 관찰로 제시되었으며 논문 자체에서 보고한 값은 정성적 결과와 로그 기반의 사례 분석에 기반한다. 추가로 EVA-Client의 평가 서브시스템은 각 시도에 대해 비디오와 세 가지 단계별 액션 스트림(원시 정책 청크·스무딩 후·실행 명령)을 기록해 어느 단계에서 문제가 발생했는지를 후속 분석으로 귀속시킬 수 있게 만들었다. 이 로그 구조는 정책·스무딩·실행 레이어 중 어느 쪽이 실패를 유발했는지 추적하는 데 실무적으로 유용한 증거를 제공한다.

기술 상세

전체 아키텍처는 다섯 개의 레이어로 조직되어 있어 각 레이어가 좁은 인터페이스로 통신한다. 전송 레이어는 ROS1/ROS2/ZMQ와 데이터셋 재생을 지원하며 각 토픽을 바운디드 deque에 버퍼링해 헤더 타임스탬프 기준으로 정렬한 동기화된 관측 프레임을 만든다. 로봇 설명 레이어는 액추에이터 그룹, 카메라 스키마, 주제 매핑 및 선택적 IK 정보를 선언형으로 제공해 새로운 플랫폼을 레지스트리에 등록하면 다른 레이어를 수정할 필요 없이 즉시 연동할 수 있다. 연속 IK는 PyRoki의 미분 가능한 순방향 기구학 루틴과 Levenberg–Marquardt 신뢰영역 트러스트-리전 스텝을 사용한 밀집 Cholesky 인수분해로 구현된다. 목표는 세 가지 가중 비용을 최소화하는 것으로 위치/회전 비용, 휴식 자세 편향 비용, 속도 과다 비용을 포함한다. 각 프레임은 이전 해로 워밍스타트되어 연속 해를 따르도록 유도하고, 추적 오차가 허용치를 넘는 경우 실행은 계속하되 해당 프레임을 플래그로 기록한다. 추론 전략의 수학적 정의도 명확히 기술되었다. 비동기 선형 블렌딩은 새 청크의 선두 min(k,k_max) 액션을 폐기한 뒤 겹침 길이 L에 대해 w_i = 1 - i/(L-1)로 선형 가중치를 적용해 a_i_blend를 계산한다. 시간적 앙상블은 동일 제어 시점에 대한 예측 집합 P(t)에 대해 지수 감쇠 e^{-m_t(j)}를 적용한 합성 평균을 사용하며 기본 m 값은 0.01으로 설정되어 있어 거의 균등 평균에 가깝다. RTC는 이전에 커밋된 액션을 서버 요청에 포함해 생성 단계에서 일관성을 유도하고, 클라이언트는 최종 선형 블렌딩으로 잔여 불연속을 정정한다.

한계점

EVA-Client는 배포·수집·평가 인프라로 범위가 한정되어 있으며 자체적으로 모델을 훈련하거나 벤치마크를 제공하지 않는다. 현재 라이브 전송은 ROS1, ROS2, ZMQ를 지원하지만 ROS가 아닌 로봇의 카메라는 미들웨어별 이미지 소스에 의존하는 제한이 있어 비ROS 카메라의 통합은 별도 작업이 필요하다. 역기구학 지원은 직렬 암 계열에 최적화되어 있어 휴머노이드나 모바일 베이스 같은 다른 형태학을 지원하려면 해당 로봇 설명과 기구학 모델을 추가해야 한다.

실무 활용

EVA-Client는 실무 환경에서 훈련된 조작 정책을 물리 로봇에 안전하고 반복 가능하게 배포하는 데 실질적인 도구를 제공한다. 수집된 데모는 LeRobot 포맷으로 바로 외부 훈련 파이프라인에 투입될 수 있어 평가-수집-재학습의 폐쇄 루프를 구성하기 용이하다. 공개된 코드베이스를 통해 다양한 로봇 백엔드와 추론 전략을 구성 파일만으로 교환해 실전 실험을 재현할 수 있다.

연구실 환경에서 새로운 체크포인트를 여러 물리 플랫폼에 동일한 구성으로 비교 평가할 때 사용 가능하다.
데이터 수집 파이프라인으로 텔레오퍼레이션 데모를 LeRobot 형식으로 기록해 지도학습 데이터로 활용할 때 적합하다.
실시간 제어 성능이 중요한 작업(예: 테이블테니스)에서 비동기 추론 전략과 지연 보상 파라미터를 튜닝하며 안전하게 검증할 때 유용하다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

real-time-chunking(실시간 청크 생성)temporal-ensembling(시간적 앙상블링)inference-strategy(추론 전략)le-robot-format(LeRobot 포맷)continuous-ik(연속 역기구학)

추가 이미지 분석

Screenshot
콘솔 화면은 단일 인터페이스에서 실행 모드 전환, 시뮬레이션 미리보기, 실로봇 스텝 실행, 녹화 및 평가를 모두 수행할 수 있음을 시연한다. 좌측의 컨트롤 패널, 중앙의 Viser 기반 3D 렌더링, 우측의 카메라 스트림 조합이 실제 운영 중 어떻게 관측과 명령을 연결하는지를 실무적으로 드러낸다. 이 뷰는 수집된 에피소드의 오픈루프 재생 및 품질검사 워크플로와 콘솔을 통한 구성 기반 재현의 실용성을 뒷받침한다.
웹 콘솔의 스크린샷들이 모여 있는 그림으로, Debug·Collect·Eval·Result 탭과 3D 씬, 동기화된 카메라 스트림을 보여준다.

용어 해설

추론 전략(Inference Strategy): — EVA-Client 맥락에서 inference strategy는 모델이 반환한 액션 청크를 실시간 제어 루프에 통합하는 규칙과 스케줄링 방식을 의미한다. 여기에는 동기/비동기 호출, 청크 중첩 처리, 지연 보상과 블렌딩 방식이 포함되어 각기 다른 물리적 작업에서 반응성·연속성을 조절한다. 전략 선택은 실제 로봇 실행의 부드러움, 지연 허용치, 그리고 장기적 궤적 안정성에 직접적인 영향을 준다.
시간적 앙상블링(Temporal Ensembling): — 이 기법은 동일한 절대 시간에 해당하는 여러 추론 청크의 예측을 가중 평균하여 실행 액션을 산출하는 방식이다. EVA-Client에서는 ACT 스타일의 지수 감쇠 가중치를 사용해 이전 예측에 다소 높은 비중을 두면서 겹침 구간을 매 시점마다 앙상블한다. 이 접근은 불연속성 완화에 기여하되 최신 예측 과신을 방지하는 역할을 한다.
실시간 청크 생성(Real-Time Chunking): — Real-Time Chunking은 서버 측에서 이전에 확정된 액션을 입력으로 조건화하여 후속 청크가 이미 실행 중인 궤적과 일관되도록 생성되게 하는 방식이다. 클라이언트는 지연 보정용으로 이전 커밋 청크를 뒤로 밀어 요청에 포함하고, 서버는 그 상태를 반영해 연속성 있는 출력을 만든다. 이 방식은 클라이언트 단의 후처리 부담을 낮추고 모델 수준에서 경계 불일치를 줄이는 목적을 가진다.
LeRobot 포맷(LeRobot Format): — LeRobot 포맷은 EVA-Client가 기록하고 재생하는 학습용 에피소드의 온-디스크 레이아웃으로, 열 지향 표 형식의 관측/행동 데이터와 카메라 비디오를 묶어 저장한다. 이 포맷을 통해 캡처된 데모는 외부 훈련 파이프라인에서 즉시 소비 가능한 형태를 유지한다. EVA-Client는 이 포맷으로 평가 실행을 자동으로 재현 가능하게 보존한다.

EVA-Client 실제 로봇 배포·평가·데이터 수집을 위한 통합 프레임워크

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

추가 이미지 분석

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드