Vesta: 범용 체현형 추론 플래너 모델

Vesta는 로봇이 요구하는 지역화, 내비게이션, 공간적 추론, 장기 계획 능력을 하나의 모델로 통합한 연구이다. 이 접근은 여러 전문 모델을 연결하는 복잡한 추론 스택과 그에 따른 지연 및 오류 전파 문제를 줄이는 실용적 대안으로 제시되었다. 실험에서 Vesta는 벤치마크 평균에서 기존 단일 분야 SOTA를 20포인트 이상 상회하고 실제 로봇 장기 과제에서 38.3% 성공률 개선을 보였다.

로봇의 실제 환경 작업은 위치 정보 추정, 시점 변화에 따른 부분 관찰, 연속한 행동 단계의 기억과 계획을 동시에 요구한다는 점에서 본질적으로 복합적이다. 기존 접근은 각 능력을 분리된 전문가 모델로 해결하는 경향이었으며, 이는 모듈 간 인터페이스 비용과 오류 누적을 초래해 종합적 성능과 실시간 제어에 제약을 만들었다. 본 논문의 핵심 직관은 다양한 공간적 신호와 상이한 태스크 유형을 하나의 SFT 코퍼스에 통합하고 간결한 멀티모달 메모리 하니스를 더하면 단일 모델이 전문 모델들과 동등하거나 더 나은 성능을 달성할 수 있다는 것이다.

기술적으로 Vesta는 Qwen3-VL-8B를 출발점으로 사용해 공간적 그라운딩, 내비게이션, 체현 추론, 메모리 기반 계획을 포함하는 지도학습 샘플에 대해 SFT를 수행했다. 입력 프롬프트는 현재 관찰, 샘플된 히스토리 이미지, 텍스트 메모리 캐시, 그리고 목표 지시문을 결합하도록 설계되었다. 출력은 정지/회전/픽셀 목표와 같은 네비게이션 행동 외에도 텍스트로 된 다음 서브태스크를 생성하는 형식을 모두 지원해 플래너-액터 분리를 유지하되 플래너가 풍부한 결정을 내릴 수 있게 했다.

이 접근은 데이터 혼합 비율, 전이 단계의 오버샘플링, 그리고 이미지-텍스트 병합 메모리가 상호보완적으로 작용해 전이 학습 효과를 유도한다는 점에서 차별화된다. 특히 전이 단계의 샘플링을 1×에서 2×로 늘리면 전이 정확도와 전체 정확도에 유의미한 향상이 발생했고 이미지-텍스트 혼합 메모리가 단독 모달리티보다 전반적 성능에서 우수했다. 결과적으로 통합된 단일 모델이 각 전문 분야의 성능을 유지하거나 초과하는 능력을 획득했다는 점이 핵심 결론이다.

전체 접근은 세 가지 축으로 구성되었다. 첫 번째 축은 공간적 그라운딩을 포함한 SFT 코퍼스 설계로, 대규모의 일반 그라운딩 데이터(Objects365, COCO, LVIS)와 로봇·에고센트릭·상호작용 중심의 꼬리(tail) 데이터를 결합했다. 두 번째 축은 네비게이션을 위한 R2R-style 포맷 채택으로, 각 결정 시점에 현재 뷰와 샘플된 히스토리 프레임을 조건으로 픽셀 목표, 회전 시퀀스 또는 정지와 같은 행동을 출력하도록 학습시켰다.

세 번째 축은 장기 계획을 위한 메모리 하니스와 Chain-of-Thought 양식의 중간 생성이다. 메모리는 과거 단계의 튜플을 ⟨인덱스, 타임스탬프, 관찰, 행동, 목표⟩ 형식으로 저장하고 K개 프레임으로 제한해 프롬프트에 재주입했다. 모델은 각 서브태스크를 예측하기 전에 Observation, Progress, Reasoning, Action의 네 단계 텍스트를 생성하며, 실질적 기억에는 예측된 서브태스크만 기록한다.

훈련 설정은 전체 혼합에 대해 1 epoch를 수행했고 학습률 1e-5, weight decay 0.01을 사용했다. 대규모 분산 훈련을 위해 128 H100 GPU와 배치 사이즈 256을 사용해 모델을 SFT했다. 전이 샘플링과 메모리 모달리티에 대한 추가 ablation을 수행해 최적의 혼합 및 샘플링 설정을 결정했다.

전체 벤치마크에서 Vesta는 평균적으로 동일 규모의 기존 단일 분야 최고 모델 대비 20포인트 이상 우위에 있었고, 각 범주별 최강 모델을 조합한 오라클 앙상블에 대해서도 평균 10포인트 이상 우위였다. 내비게이션 R2R-CE에서는 Vesta가 navigation specialist인 InternVLA-N1과 동등한 수준의 Success Rate와 Oracle Success를 달성했으며 SPL과 NE에서는 약간의 차이를 보였다. 실세계 로봇 작업의 경우 세 가지 메모리 집약 태스크에서 actor-only 대비 평균 성공률이 38.3% 포인트 상승했고 Qwen3-VL 플래너 대비 25% 포인트 향상이 관찰되었다.

ablation 결과는 데이터 혼합의 영향과 메모리 설계의 중요성을 수치로 보여주었다. 통합 혼합(Vesta)은 Nav-only와 Embodied-only 각각의 전문화 모델들과 성능을 비교했을 때 내비게이션에서 +1.4 SR, 임베디드 평균에서 +3.9 포인트의 긍정적 전이를 보였다. 또한 전이 단계의 오버샘플링을 2×로 설정하면 전이 정확도가 크게 개선되었고 이미지-텍스트 병합 메모리가 전체 정확도에서 최상의 결과를 도출했다.

아키텍처는 Qwen3-VL-8B를 기반으로 한 SFT 파이프라인을 따랐다. 입력 포맷은 현재 에고센트릭 이미지, 샘플된 과거 이미지 시퀀스, 텍스트 메모리, 그리고 자연어 목표로 구성되며 모든 구조화된 출력을 언어 헤드로 텍스트 토큰 형태로 디코딩했다. Localization 출력에서 포인팅과 박스 좌표는 텍스트 좌표 체계로 직렬화되어 동일한 디코더로 처리되었다.

네비게이션에서는 에피소드 e=(I,s0,g) 정의를 사용하고 각 결정 시점 t에 모델이 (I,Ht,ot)를 조건으로 행동 at를 출력했다. 픽셀 목표는 정규화된 좌표(u,v)∈[0,1000]^2 형태로, 회전 시퀀스는 좌우 기호로, 정지는 stop 토큰으로 표현되어 후속 로우레벨 컨트롤러에 전달되었다. 계획 문제는 비마르코프적 특성을 갖기 때문에 메모리 ℳt=Φ(ot,ℳt,g)로 근사한 상태를 사용해 긴 문맥을 압축하였다.

메모리 설계는 히스토리 ℋt에서 샘플링 연산자 𝒮t를 통해 최대 K 프레임을 선택하며 첫 프레임을 항상 보존했다. 샘플링은 uniform과 recency-biased 두 전략을 시험했으며 이미지-텍스트 혼합 메모리가 최고 성능을 보였다. 전이 샘플링 비율은 2×를 기본값으로 채택했고 이 설정은 전이 단계 정확도와 전체 정확도에서 최적의 균형을 제공했다.

논문은 실제 로봇 평가에 사용 가능한 시간 제한과 액터 모델의 한계가 결과 해석에 영향을 미친다고 명시했다. 액터의 모션 품질 또는 언어 추종 실패가 전체 실패의 주요 원인으로 확인되었으며, 따라서 플래너의 향상이 곧바로 완전한 실행 성공으로 이어지지 않을 수 있다. 또한 실험에서 일부 실험 결과는 저자 측 내부 코드로 재현되어 있는 항목이 있어 외부 재현성은 추가 자원과 코드 공개에 의존한다.