EVA-Client 실제 로봇 배포·평가·데이터 수집을 위한 통합 프레임워크

훈련된 멀티모달 조작 정책을 물리 로봇에 정확하고 반복 가능하게 적용하는 과정에는 관찰·명령 인터페이스, 지연 보정, 액션 변환, 기록·평가 같은 여러 실시간 문제가 얽혀 있다. EVA-Client는 이러한 배포 관련 구성 요소를 분리된 레이어와 명시적 설정으로 정리해 로봇별 스크립트를 대체하고 배포 과정을 가시화한다. 이로 인해 한 체크포인트를 다른 플랫폼에 적용할 때 코드 변경 없이 구성 파일만으로 재현과 비교가 가능해진다.

출발점은 트레이닝 생태계와 실제 로봇 배포 사이의 불일치이다. 현대의 VLA/VAM/WAM 계열 정책은 미래 행위의 청크를 반환하는데, 물리 세계에서는 이 청크들을 실시간 제어 루프에 일관되게 적용하는 작업이 필요하다. 단순히 서버로부터 청크를 받아 로봇에 순차 투사하면 지연과 경계 불연속으로 인해 고속 작업에서는 반응성이, 장기 작업에서는 궤적 연속성이 훼손된다. 이 논문은 문제 해결을 위해 추론 호출 스케줄링과 청크 중첩 처리 로직을 클라이언트 레벨에서 명확히 분리하고 여러 전략을 교환 가능하게 만들었다. 실시간 실행은 제어 루프 주기와 정책 쿼리 주기가 달라 발생하는 지연을 보상해야 하며, 그 수단으로 청크 트리밍, 선형 오버랩 블렌딩, 시간적 앙상블 가중, 그리고 서버 기반 조건화(Real-Time Chunking)를 사용한다. 또한 연산 단위와 로봇 명세를 분리해 정책 출력 공간(조인트 혹은 엔드이펙터)과 로봇의 명령 발행 공간을 자동 변환하는 IK 파이프라인을 삽입했다. 결과적으로 이 접근은 무엇이 달라지는지를 명확히 한다. 동기 방식은 재현성이 높지만 정지-시작(pause-and-go)으로 반응성이 떨어지는 반면 비동기 방식은 제어 루프를 멈추지 않으므로 고속 작업에서 실체적 개선을 제공한다. 시간적 앙상블은 중첩 구간에서 여러 예측을 절대시간 기준으로 통합해 경계 불연속을 완화하고, RTC는 생성 단계에서 이미 실행 중인 액션을 조건화해 모델 자체가 연속성을 보장하도록 유도한다. 이들 기법을 동일한 클라이언트에서 전환 가능하게 한 점이 핵심 직관이다.

전체 접근은 얇은 클라이언트를 신호 소스와 로봇 실행 사이에 배치하는 구조로 설계되었다. 신호 소스는 정책 서버나 원격 teleoperation일 수 있고, 클라이언트는 관측을 전송해 청크 기반 액션을 수신한 뒤 로봇 전용 실행 레이어로 변환·전달한다. 이때 전송층(ROS1/ROS2/ZMQ/데이터셋 재생)은 동기화된 관측 프레임을 제공하고 로봇 설명 레이어는 액추에이터 그룹·카메라·주제 매핑·선택적 기구학을 선언한다. 핵심 메커니즘은 추론 전략 레이어에 있다. EVA-Client는 동기 실행, 비동기 prefetch의 선형 오버랩 블렌딩, ACT 스타일의 시간적 앙상블, naive replacement, 그리고 Real-Time Chunking을 구현한다. 비동기 선형 블렌딩은 도착한 새 청크의 선행 k 스텝을 잘라내고 겹치는 길이 L에 대해 선형 가중치를 적용해 이전 버퍼와 새 예측을 혼합한다. 시간적 앙상블은 동일 절대 시간에 해당하는 모든 청크 예측을 지수 가중 평균으로 합성해 실행 액션을 계산하며, RTC는 이전에 커밋된 액션을 요청에 포함해 서버가 생성 시 연속성을 직접 조건화하게 한다. 구현 세부에서는 연속 역기구학 연산과 제어 일관성 유지가 결합된다. PyRoki 기반의 연속 IK가 Levenberg–Marquardt 비선형 최소제곱 풀기를 사용해 프레임별 구성을 해결하며 위치·회전·휴식·속도 비용을 최소화한다. 각 프레임은 이전 해로 워밍스타트되어 연속성을 유지하고, 추적 오차 허용치를 초과한 프레임은 플래그로 기록하되 명령은 계속 전송한다. 구성은 선언적 파일로 관리되어 로봇, 전송, 전략, 루프 속도 등 전체 배포를 재현 가능한 형태로 고정한다.

논문은 정량적 벤치마크보다는 실물 배포에서 관찰된 질적 차이를 중심으로 결과를 보고했다. 두 대표 사례로 고역학 테이블테니스와 장기간 안정성이 필요한 천 접기 작업을 제시해 동일한 클라이언트와 체크포인트에 대해 추론 전략만 바꿔 실행한 결과를 비교했다. 테이블테니스에서는 동기 실행이 각 전방전달마다 멈춤을 유발해 랠리가 이어지지 않았고 비동기 스케줄링이 제어 루프를 유지하면서 반응성을 확보했다. 천 접기 과제에서는 장시퀀스의 시간적 일관성이 중요해 중첩 청크의 블렌딩이 궤적 안정성을 개선했다. 논문은 또한 naive-async 대조군과 RTC 같은 서버 조건화 기법을 도입해 경계 불일치의 기여원을 분리할 수 있음을 보였다. 전반적으로 주장된 개선은 실험적 관찰로 제시되었으며 논문 자체에서 보고한 값은 정성적 결과와 로그 기반의 사례 분석에 기반한다. 추가로 EVA-Client의 평가 서브시스템은 각 시도에 대해 비디오와 세 가지 단계별 액션 스트림(원시 정책 청크·스무딩 후·실행 명령)을 기록해 어느 단계에서 문제가 발생했는지를 후속 분석으로 귀속시킬 수 있게 만들었다. 이 로그 구조는 정책·스무딩·실행 레이어 중 어느 쪽이 실패를 유발했는지 추적하는 데 실무적으로 유용한 증거를 제공한다.

전체 아키텍처는 다섯 개의 레이어로 조직되어 있어 각 레이어가 좁은 인터페이스로 통신한다. 전송 레이어는 ROS1/ROS2/ZMQ와 데이터셋 재생을 지원하며 각 토픽을 바운디드 deque에 버퍼링해 헤더 타임스탬프 기준으로 정렬한 동기화된 관측 프레임을 만든다. 로봇 설명 레이어는 액추에이터 그룹, 카메라 스키마, 주제 매핑 및 선택적 IK 정보를 선언형으로 제공해 새로운 플랫폼을 레지스트리에 등록하면 다른 레이어를 수정할 필요 없이 즉시 연동할 수 있다. 연속 IK는 PyRoki의 미분 가능한 순방향 기구학 루틴과 Levenberg–Marquardt 신뢰영역 트러스트-리전 스텝을 사용한 밀집 Cholesky 인수분해로 구현된다. 목표는 세 가지 가중 비용을 최소화하는 것으로 위치/회전 비용, 휴식 자세 편향 비용, 속도 과다 비용을 포함한다. 각 프레임은 이전 해로 워밍스타트되어 연속 해를 따르도록 유도하고, 추적 오차가 허용치를 넘는 경우 실행은 계속하되 해당 프레임을 플래그로 기록한다. 추론 전략의 수학적 정의도 명확히 기술되었다. 비동기 선형 블렌딩은 새 청크의 선두 min(k,k_max) 액션을 폐기한 뒤 겹침 길이 L에 대해 w_i = 1 - i/(L-1)로 선형 가중치를 적용해 a_i_blend를 계산한다. 시간적 앙상블은 동일 제어 시점에 대한 예측 집합 P(t)에 대해 지수 감쇠 e^{-m_t(j)}를 적용한 합성 평균을 사용하며 기본 m 값은 0.01으로 설정되어 있어 거의 균등 평균에 가깝다. RTC는 이전에 커밋된 액션을 서버 요청에 포함해 생성 단계에서 일관성을 유도하고, 클라이언트는 최종 선형 블렌딩으로 잔여 불연속을 정정한다.

EVA-Client는 배포·수집·평가 인프라로 범위가 한정되어 있으며 자체적으로 모델을 훈련하거나 벤치마크를 제공하지 않는다. 현재 라이브 전송은 ROS1, ROS2, ZMQ를 지원하지만 ROS가 아닌 로봇의 카메라는 미들웨어별 이미지 소스에 의존하는 제한이 있어 비ROS 카메라의 통합은 별도 작업이 필요하다. 역기구학 지원은 직렬 암 계열에 최적화되어 있어 휴머노이드나 모바일 베이스 같은 다른 형태학을 지원하려면 해당 로봇 설명과 기구학 모델을 추가해야 한다.