3D 트래젝토리로 계획과 제어를 정렬하는 3D HAMSTER

로봇 조작에서 고수준 언어 기반 계획과 저수준 3차원 제어 사이의 표현 격차는 실행 실패의 주요 원인이다. 2D 픽셀 좌표를 깊이 없이 전달하면 각 웨이포인트가 장면 표면 깊이에 종속되어 기하학적으로 왜곡된 궤적이 생성되며 이는 낮은 수준의 3D 정책과 불일치를 초래한다. 본 논문은 계획 단계에서부터 메트릭 3D 궤적을 직접 예측해 계획과 제어가 동일한 좌표계를 공유하도록 함으로써 이 근본적 불일치를 제거하고 분포 이동에 대한 강건성을 확보했다.

계층적 VLA에서 고수준 플래너는 시맨틱 목표를 생성하고 저수준 제어기는 메트릭 3D 공간에서 동작한다는 사실이 문제의 출발점이다. 기존 접근은 플래너가 2D 픽셀 좌표를 예측하고 이를 장면 깊이에 따라 역투영하는 방식이어서 역투영 결과가 장면 지형에 종속되는 오류를 낳았다. 이 오류는 저수준 정책이 플래너의 의도와 장면 지오메트리를 구분하지 못해 실패로 이어졌다.

3D HAMSTER는 RGB 이미지와 깊이 맵, 언어 지시를 입력으로 받아 LLM 기반 플래너가 (u,v,d) 웨이포인트를 자기회귀적으로 생성하도록 설계되었다. 깊이 인코더는 깊이 맵을 전용 토큰으로 인코딩하고 RGB 토큰과 투영하여 통합된 비주얼-깊이 표상을 LLM에 제공함으로써 단일 뷰에서의 메트릭 깊이 보존을 도왔다. 학습은 두 단계로 이루어져 첫 단계에서는 깊이 프로젝터와 디코더만 학습해 깊이 표현을 LLM 공간에 정렬했고 두 번째 단계에서는 LoRA(rank=64)를 사용해 LLM 파라미터 일부를 미세조정하면서 궤적 예측을 학습했다.

3D 궤적 예측 평가(DroidSpatial-Bench)에서 깊이 인코더와 밀집 재구성 손실을 순차적으로 추가한 결과 5cm Both 정확도는 Qwen3-VL 기본에서 0.7%에서 최종 41.9% 수준으로 개선되었고 깊이 인코더 추가 시 42.6%로 증가했다. Colosseum 시뮬레이션 결과에서 3D HAMSTER를 사용한 경우 평균 성공률이 44.8%로 2D-guided와 unguided 대비 각각 6.0%p와 8.2%p 향상되었고 조명과 텍스처 변화 축에서 가장 큰 이득을 보였다. 실제 Franka Panda 실험에서는 버튼 누르기, 붓기, 집어넣기 과제에서 3D HAMSTER가 평균 80%, 68%, 62%를 기록해 2D 기반과 모놀리식 VLA 대비 분포 이동 상황에서 더 일관된 성능을 보였다.

전체 아키텍처는 RGB 비전 인코더, 깊이 인코더, 두 개의 프로젝터, LLM 백본, 깊이 디코더, 그리고 궤적 조건화 저수준 정책으로 구성되었다. 깊이 인코더 출력 z_D는 경량 디코더 f_dec로 보내져 복원된 깊이 맵 D^=f_dec(z_D)를 생성하고 이와 원본 깊이 D 사이의 ℓ1 손실 ℒ_depth=∥D−D^∥_1로 정규화되며 총 손실은 ℒ=ℒ_LM+λℒ_depth, λ=0.1로 합산되어 학습되었다. 학습 전략은 두 단계로 stage1에서 깊이 프로젝터와 디코더만 학습해 표현 정렬을 수행하고 stage2에서 양 인코더를 동결한 채 LoRA(rank=64)를 적용해 LLM의 나머지 파라미터를 미세조정하며 궤적 예측을 학습했다.

플래너는 RGB-D 센서로부터 얻은 명시적 깊이 맵을 전제로 하고 있어 깊이 센서가 없는 환경에서는 성능이 제한된다. 단일뷰 입력으로 동작하기 때문에 심하게 가려진(occluded) 장면이나 다중 뷰가 필요한 복잡한 배치에서는 취약성이 존재한다. 연구 평가는 단일 암 테이블탑 작업에 국한되어 있어 모바일 조작이나 양팔 협동 같은 더 복잡한 설정으로의 확대 가능성은 추가 검증이 필요하다.