Embodied.cpp: 이기종 로봇에서 임베디드 AI 모델을 위한 이식성 높은 C++ 추론 런타임

로봇 제어 환경에서는 낮은 지연과 예측 가능한 실행 타이밍이 성능 핵심이다. Embodied.cpp는 VLA와 WAM으로 대표되는 서로 다른 임베디드 모델 패밀리를 하나의 이식성 있는 C++ 런타임으로 수렴시키며, 다중 주기 실행과 지연 우선 fused 실행으로 엣지 장치에서의 실시간 요구를 충족한다. 이 결과는 연구용 Python 스택과 백엔드별 글루 코드를 반복해서 재작성하지 않고도 다양한 로봇 하드웨어에 모델을 배포할 수 있는 실무적 경로를 제시한다.

임베디드 모델은 단회성 요청-응답 추론이 아니라 로봇 폐쇄루프 내에서 지속적으로 상태를 주고받는 실행 환경을 요구한다. 이 환경에서는 시각 인코더, 백본, 예측 모듈, 액션 헤드가 모두 같은 빈도로 실행될 필요가 없고, 따라서 런타임은 모듈별 갱신 주기를 노출하고 상태를 안전하게 공유해야 한다. Embodied.cpp는 이 점을 출발점으로 삼아 실행 단위를 명시적으로 분리하고 모듈 간의 동기화·버퍼링 정책을 런타임 수준에서 관리한다.

전체 접근은 다섯 계층 아키텍처로 구성되어 입력 어댑터가 센서·데이터셋 스트림을 타입화하고 시퀀스 빌더가 모델 입력을 구성하며 백본 실행은 공통 연산 경로를 수행하고 헤드 플러그인이 모델별 출력을 생성하며 배포 어댑터가 시뮬레이터나 로봇으로 출력을 전달하는 방식이다. 핵심 메커니즘으로는 모듈별 refresh policy(갱신 정책)와 실행 스케줄러가 있어 perception·predictive·action 모듈을 서로 다른 주기로 실행하고 필요한 시점에만 연산을 호출하도록 한다. 성능 측면에서는 호스트-디바이스 데이터 이동을 최소화하고 연산 융합(fused execution)과 캐시·버퍼 재사용을 적용해 batch-1 환경의 지연과 지터를 줄이는 전략이 사용되며, 이는 엣지 디바이스에서의 예측 가능한 제어 타이밍을 확보하는 데 초점이 맞춰져 있다.

VLA 배포 실험에서 HY-VLA는 RoboTwin place_empty_cup 작업에서 100.0% 성공률을 기록했고 pi0.5는 91.0% 성공률을 기록했다. 측정된 지표에는 행동 청크 길이, 서버측 추론 지연(Inf.), 환경 스텝 당 암오타이즈 지연(Step), 그리고 피크 GPU 메모리(VRAM)가 포함되며 HY-VLA는 더 큰 백본과 다중 뷰 입력 때문에 pi0.5보다 높은 지연과 메모리를 보였다. 이 결과는 동일한 C++ 런타임으로 서로 다른 VLA 아키텍처를 운용하면서도 태스크 성능을 유지할 수 있음을 실증한다.

전체 아키텍처는 입력 어댑터, 시퀀스 빌더, 백본 실행, 헤드 플러그인, 배포 어댑터의 다섯 계층으로 나뉘며 각 계층은 타입화된 인터페이스로 연결된다. 입력 어댑터는 카메라, 관절 상태, 힘·촉각, IMU 등의 실시간 센서 스트림과 오프라인 데이터셋을 동일한 타입으로 래핑하며 시퀀스 빌더는 모델별 입력 시퀀스와 히스토리를 구성한다. 백본 실행은 공통 Transformer/비전 언어 실행 경로를 수행하고 헤드 플러그인은 연속 액션, 액션 토큰, 예측된 미래 등 모델별 출력 형식을 생성해서 배포 어댑터로 전달한다.

논문은 VLA에 대한 폐쇄루프 실험을 포함해 C++ 배포 경로의 유효성을 보였지만 LingBot-VA 전체 모델의 엣지 상에서의 폐쇄루프 결과는 포함되지 않았다. WAM에 대한 평가는 Transformer 블록 단위의 양자화 마이크로벤치마크로 제한되어 전체 WAM 시스템의 폐쇄루프 성능을 완전히 증명하지는 못했다. 따라서 현재 검증은 VLA 쪽에서 완전한 폐쇄루프 증거를 제공하지만 WAM 전반에 대한 완전한 실증은 후속 작업이 필요하다.