ReferTrack: 지시 기반 선선택 후 추적으로 구현한 임베디드 비주얼 트래킹

임베디드 비주얼 트래킹은 로봇이 자연어로 지시된 특정 대상을 단일 전방 카메라만으로 계속 따라가야 하는 문제로, 혼잡한 환경에서의 정확한 대상 식별과 안전한 경로 생성이 관건이다. ReferTrack은 식별을 이미지공간의 이산 선택 문제로 환원하고 역사적 bbox 정보를 명시적으로 메모리화해 식별 오류가 전체 제어로 전파되는 문제를 완화했다. 그 결과 단일 카메라 설정에서도 다중 카메라 기반 방법들과 경쟁하거나 이를 능가하는 식별 중심 성능을 달성했다.

임베디드 비주얼 트래킹 문제는 언어로 주어진 대상의 시점별 위치를 추정해 연속적인 행동을 생성하는 태스크로 요약된다. 기존 VLA 접근은 LLM 스타일의 연속적 공간 latent에서 Chain-of-Thought를 진행해 행동을 생성했는데, 이때 공간적 표현이 추상적이면 검출기 출력과의 정합이 약해 식별 오류가 발생하면 제어 모듈로 오류가 곧바로 전달되었다. ReferTrack은 식별을 이미지공간의 이산 선택 문제로 재정의해 후보 바운딩박스 중 하나를 단일 토큰으로 선택함으로써 시각-언어 정합을 명확히 하고 감독 신호를 강화한다.

ReferTrack의 전체 파이프라인은 세 부분으로 구성된다: 전방 RGB 관측을 SigLIP와 DINOv2 듀얼 인코더로 처리해 grid-pooled 토큰을 생성하고, 현재 프레임의 검출 결과를 인덱스화한 후보 카탈로그로 포맷하며, 언어·시각·카탈로그를 결합해 두 단계의 LLM 패스(Refer-CoT 생성 후 행동 생성)를 수행한다. 관찰 인코딩에서 coarse 토큰은 과거 H프레임의 요약을, fine 토큰은 현재 프레임의 세부를 담아 시퀀스를 구성하며, TVBI 토큰은 과거 프레임에 대상 bbox 임베딩을 더해 과거 기하학 정보를 삽입한다. 학습 목표는 가중합 손실 ℒ = αℒ_traj + ℒ_refer + ℒ_text로 정의되며 여기서 ℒ_traj는 예측한 연속적 웨이포인트와 전문가 웨이포인트 간의 MSE 합으로 행동 헤드를 감독하고, ℒ_refer는 Refer-CoT 토큰의 정답 인덱스를 교차엔트로피로 감독한다.

주요 벤치마크는 EVT-Bench의 단일 전방 카메라 설정에서 이루어졌고 ReferTrack은 STT에서 Success Rate 89.4%, Tracking Rate 92.5%, Collision Rate 1.6%를 기록했다. 혼잡·혼동 분할인 DT와 AT에서는 각각 73.3% SR/81.8% TR 및 74.1% SR/85.7% TR을 달성해 같은 단일뷰 계열 중 최상위 성능을 보였고, 일부 다중뷰 기준과 비교해 식별 중심 지표에서 우위를 보였다. Ablation에서는 TVBI의 유무와 Refer-CoT의 폐지 여부가 성능에 큰 영향을 미쳤고, TVBI를 완전한 GT bbox로 대체한 Oracle 실험이 SR을 81.5%로 끌어올려 식별 단계가 현재 제약임이 확인되었다.

전체 아키텍처는 Qwen3-4B LLM을 중심으로 시각 인코더, bbox 임베더, 후보 카탈로그 토큰화, 그리고 행동 디코더(MLP 기반 ActionHead)를 연결한 두 단계 처리 구조이다. 시각 스트림은 SigLIP와 DINOv2의 특징을 병합해 64×C의 fine 토큰과 4×C의 coarse 토큰으로 풀링하고, 이들을 MLP 기반의 vision projector로 LLM 잠재공간으로 사상한다. 후보 카탈로그의 각 항목은 식별 토큰(예: ⟨ped_k⟩)과 bbox 임베딩 E_bbox = P_bbox(b_T^{(k)})로 인코딩되어 LLM의 자동회귀 토큰 공간에서 단일 Refer-CoT 토큰 선택으로 종결된다.

논문 내 실험과 절차는 식별 단계가 주요 병목임을 명확히 지적하고 있다. Ablation에서 TVBI에 GT bbox를 직접 주입한 Oracle 변형과 비교하면 식별 오류가 성능 차이를 크게 만들었고 이는 검출·ReID 모듈 성능에 민감하다는 의미이다. 또한 현재 방법은 후보 K개를 우선순위로 잘라내는 전략과 검출기 품질에 의존하므로 매우 인구밀집·부분관측이 잦은 조건에서는 추가적인 추적·재인식 모듈이 필요할 수 있다.