TL;DR

MiniCPM-RobotTrack은 MiniCPM4-0.5B를 기반으로 DINOv3와 SigLIP로부터 융합된 시각 피처와 자연어 지시를 결합해 여덟 개의 [x, y, yaw] 웨이포인트를 직접 예측하는 경량 비전-언어-액션 정책이다. 품질 중심의 self-evolving 데이터 파이프라인과 DAgger-style 상호작용으로 어려운 추적 사례를 지속적으로 수집해 모델의 실제 환경 적응력을 높였고, 입력 캡처부터 명령 실행까지 전체 스택을 공동 최적화해 Unitree Go2 온보드에서 약 5+ FPS와 약 180 ms의 엔드투엔드 지연을 달성했다. 이 설계는 자연어 조건화와 계층적 시각 토큰 처리를 통해 실시간 로봇 추적 워크플로로의 직접 통합을 가능하게 했으나, README에 공개된 수치 외의 상세 벤치마크 표는 이미지로만 제공되어 정확한 비교를 위해 원문 이미지와 전처리 파이프라인을 직접 검토할 필요가 있다.

핵심 역량

• 모델은 자연어로 주어진 목표 설명을 입력으로 받아 시각 피처와 결합해 구체적인 목적지 추적 행동을 생성할 수 있다. 언어 입력은 tokenizer와 모델의 텍스트 입력으로 처리되고 시각 피처와의 정렬을 통해 맥락화된 행동 출력이 생성된다. 출력은 로봇 제어로 변환 가능한 연속적 웨이포인트 시퀀스이다.
• 시계열화된 coarse 토큰과 현재 프레임의 fine 토큰을 동시에 처리하여 과거 관찰과 현재 관찰을 통합한 의사결정을 수행할 수 있다. coarse 토큰은 HISTORY_FRAMES 동안의 저해상도 피처를 시간 인덱스와 함께 제공하고 fine 토큰은 현행의 고해상도 관측을 보강한다. 이 두 계층의 결합은 가림, 복수인물 교차, 급회전 같은 난이도 높은 상황에서의 행동 예측에 기여한다.
• 온보드 환경에서 실시간 제어 루프에 맞추어 행동 명령을 생성하고 전송하는 엔드투엔드 파이프라인을 지원한다. 문서에 명시된 대로 Unitree Go2의 네이티브 온보드 연산에서 약 5+ FPS와 약 180 ms의 지연을 달성하도록 하드웨어 캡처부터 명령 실행까지가 공동 최적화되었다. 이러한 설계는 추론부터 명령 송신까지의 실제 운영 요구사항을 충족하기 위한 것임이 확인된다.

강점

• 경량 아키텍처(MiniCPM4-0.5B 기반)와 시각 피처 융합 설계로 온보드 추론이 가능하도록 최적화되었다. 문서에 따르면 Unitree Go2의 네이티브 컴퓨트에서 안정적으로 5+ FPS를 유지했고 엔드투엔드 지연은 약 180 ms 수준이었다. 이러한 특성은 이동 로봇의 실시간 제어 루프에 직접 통합할 수 있는 실용적 이점을 제공한다.

훈련 방식

모델은 MiniCPM4-0.5B를 기반으로 하여 DAgger-style의 반복적 모델-환경 상호작용으로 학습 데이터 분포를 확장했다. 자동화된 이상치 검사와 수동 리뷰를 결합해 비정상 궤적과 잘못된 행동을 제거하고 난이도 높은 사례를 우선 추가했다. 이 접근은 실제 환경에서 발생하는 교차 상황과 가림 현상에 대한 정책의 일반화 능력을 향상시키는 목적이었다.

알아두면 좋은 것

• 모델은 MiniCPM4-0.5B를 기반으로 하고 있으며 언어 조건화된 목표 추적을 위해 설계되었다. README는 DINOv3와 SigLIP 시각 피처의 융합을 핵심 설계로 명시했으며, 이를 통해 시각적 의미와 공간적 세부를 동시에 활용한다. 또한 프로젝트는 open-source 레퍼런스와 연동된 형태로 구성되어 있어 관련 전처리 도구와 데이터 수집 파이프라인을 참조할 수 있다.
• 데이터 수집과 정제는 자동 검증과 수동 검토를 결합한 품질 주도 방식으로 이루어졌다. README는 이상 궤적, 잘못된 행동, 유효하지 않은 상호작용을 제거했다고 명시했고 DAgger-style 상호작용으로 어려운 사례를 반복적으로 추가해 데이터 분포를 확장했다고 기술했다. 이 과정은 정책이 환경의 실제 난이도에 노출되도록 유도하여 복잡한 추적 상황에 대한 견고성을 높였다.
• 실행 측면에서는 입력 캡처, 인코딩, 모델 추론, 행동 생성, 명령 전송 및 실행까지 전체 파이프라인의 공동 최적화가 수행되었다. README에는 Unitree Go2의 네이티브 온보드 컴퓨트에서 약 5+ FPS와 약 180 ms의 엔드투엔드 지연이 달성되었다고 표기되어 있다. 또한 transformers>=4.56,<5 버전 요구와 Apache-2.0 라이선스가 명시되어 호환성과 이용 조건을 명확히 했다.

기술적 특징

• 언어조건형 목표 추적 구조는 자연어 명령을 텍스트 토큰으로 인코딩한 뒤 시간 정렬된 시각 피처와 직접 결합해 행동 출력을 생성하는 방식으로 설계되었다. 이 방식은 명령의 의미를 시각적 상황과 연결하여 특정 인물을 따르거나 회피하는 등 다양한 추적 지시를 반영한다. 출력은 웨이포인트 시퀀스 형태로 제공되어 로봇 제어로의 직접 변환이 용이하다.
• 시각 입력은 DINOv3와 SigLIP로부터 생성된 피처를 융합하여 사용되며 coarse와 fine의 두 레벨로 시간적·공간적 정보를 분리 처리한다. coarse 토큰은 HISTORY_FRAMES 동안의 압축된 시간 정보를 제공하고 fine 토큰은 현재 프레임의 고해상도 관측을 보강한다. 이 계층적 처리로 인해 긴 히스토리 기반의 추세 파악과 현재 시점의 정밀한 목표 식별이 동시에 가능해졌다.
• 데이터 파이프라인은 품질 중심의 self-evolving 데이터 수집을 채택하여 자동 검사와 수동 리뷰로 이상 케이스를 제거하고 DAgger-style 상호작용으로 어려운 샘플을 지속적으로 추가했다. 이러한 반복적 수집과 보강은 모델이 초기 전문가 분포에서 벗어나 모델 주도 환경 상호작용의 오류 분포를 학습하도록 유도한다. 결과적으로 교차 상황, 짧은 가림, 급회전 등 난이도 높은 상황에서의 성능 향상을 목적으로 했다.
• 온디바이스 실시간 성능을 위해 시각 캡처에서부터 명령 실행까지 전체 스택을 공동 최적화했다. 구체적으로 입력 인코딩과 모델 추론, 행동 생성 및 송신 체인을 병행 조정하여 Unitree Go2에서 엔드투엔드 지연 약 180 ms와 5+ FPS를 달성했다. 이 최적화는 하드웨어의 연산 제약을 고려한 설계와 파이프라인 수준의 병목 제거로 구현되었다.

차별점

• MiniCPM4-0.5B를 기반으로 경량화된 비전-언어-액션 정책을 구현해 온보드 추론이 가능한 수준의 실시간 성능을 달성했다. 이 점은 대규모 백본 기반의 외부 서버 의존을 줄이고 현장 운영에서 실용성을 확보하는 설계 결정이었다. 결과적으로 이동 로봇의 네이티브 컴퓨트에서 직접 구동 가능한 솔루션을 제공했다.
• DINOv3와 SigLIP 피처를 동시에 사용해 시각적 의미 표현과 공간적 세부를 보완적으로 통합함으로써 언어 조건과의 정렬 정확도를 높였다. 두 백본의 융합은 단일 백본만으로 얻기 어려운 의미적 일관성과 위치 정밀도를 결합했다. 이로 인해 복합한 시나리오에서 목표 식별과 추적의 견고성이 증대되었다.
• 데이터 수집에 DAgger-style 반복적 상호작용과 수동 검증을 결합해 모델이 실환경의 어려운 분포에 노출되도록 설계했다. 이 접근은 모델이 자체 행동으로 만들어내는 오류를 보정하며 어려운 케이스를 체계적으로 추가하는 메커니즘을 제공했다. 따라서 초기 전문가 데이터에 의존하는 일반적 정책보다 실제 운영에서의 적응성이 향상되었다.

벤치마크

이미지 분석