TL;DR

MiniCPM-RobotTrack은 MiniCPM4-0.5B를 기반으로 자연어 지시와 DINOv3·SigLIP을 융합한 시각 특징을 결합해 향후 8개의 [x, y, yaw] 웨이포인트를 직접 예측하는 컴팩트 VLA 모델로, 사람을 따라가는 임바디드 추적에 특화됐다. 이상 궤적·잘못된 행동·유효하지 않은 상호작용을 자동·수동 검수로 걸러내고 목표물 교차·급회전·짧은 가림·다인 교차 같은 어려운 사례를 DAgger 방식의 모델-환경 상호작용으로 계속 추가하는 자가진화형 데이터 파이프라인으로 학습됐다. Unitree Go2의 온보드 연산만으로 5FPS 이상, 약 180ms의 종단 지연을 안정적으로 내도록 시각 캡처·인코딩·추론·명령 전송·실행 전 과정을 함께 최적화했다. 실외 장애물 회피, 엘리베이터, 지하 주차장 등 다양한 환경에서 사람을 따라가는 로봇 추종 시스템에 적합하다.

핵심 포인트

• 자연어 지시와 DINOv3+SigLIP 융합 시각 특징을 결합해 8개의 [x, y, yaw] 웨이포인트를 직접 예측한다.
• 목표 교차·급회전·짧은 가림·다인 교차 같은 어려운 사례를 DAgger 방식으로 계속 추가하는 자가진화형 데이터 파이프라인으로 학습됐다.
• Unitree Go2의 온보드 연산만으로 5FPS 이상, 약 180ms 종단 지연의 실시간 추적을 낸다.

벤치마크