3D 트래젝토리로 계획과 제어를 정렬하는 3D HAMSTER

왜 중요한가

로봇 조작에서 고수준 언어 기반 계획과 저수준 3차원 제어 사이의 표현 격차는 실행 실패의 주요 원인이다. 2D 픽셀 좌표를 깊이 없이 전달하면 각 웨이포인트가 장면 표면 깊이에 종속되어 기하학적으로 왜곡된 궤적이 생성되며 이는 낮은 수준의 3D 정책과 불일치를 초래한다. 본 논문은 계획 단계에서부터 메트릭 3D 궤적을 직접 예측해 계획과 제어가 동일한 좌표계를 공유하도록 함으로써 이 근본적 불일치를 제거하고 분포 이동에 대한 강건성을 확보했다.

핵심 기여

메트릭 3D 궤적을 직접 출력하는 VLM 기반 플래너 설계

논문은 VLM 플래너가 (u,v,d) 형태의 메트릭 웨이포인트 시퀀스를 직접 생성하도록 구조화했다. 이렇게 생성된 궤적은 카메라 내·외부 파라미터로 월드 좌표로 변환되어 포인트클라우드 기반 저수준 정책에 그대로 입력될 수 있다. 이 접근은 2D→3D 역투영에서 발생하는 표면 종속성(graffiti effect)을 제거해 제어기가 플래너의 의도를 충실히 추적하도록 만들었다.

깊이 인코더와 밀집 깊이 재구성 손실을 활용한 학습 레시피

플래너에 깊이 전용 인코더를 추가하고 깊이 토큰을 LLM의 표현과 융합하도록 설계했다. 깊이 인코더 출력은 경량 디코더로 전체 깊이 맵을 복원하도록 ℓ1 손실로 정규화되며 이 손실은 언어 모델 손실과 합쳐져 λ=0.1로 학습에 반영되었다. 두 단계로 학습해(depth alignment, task fine-tuning) 사전학습된 시각언어 능력을 보존하면서 메트릭 깊이 성능을 확보했다.

궤적-장면 융합과 궤적 조건화 저수준 정책 구현

생성된 월드-frame 궤적을 장면 포인트클라우드에 추가하고 각 점에 궤적·장면 모달리티 임베딩을 더해 정책 입력으로 제공했다. 저수준 정책으로는 rectified flow matching 기반의 3DFA를 채택해 궤적 점을 보존하면서 행동 청크를 예측하도록 구성했다. 이 구성은 궤적 신호가 서브샘플링 과정에서 손실되지 않도록 보장해 닫힌 루프 조작에서 안정적인 추종을 가능하게 했다.

핵심 아이디어 이해하기

계층적 VLA에서 고수준 플래너는 시맨틱 목표를 생성하고 저수준 제어기는 메트릭 3D 공간에서 동작한다는 사실이 문제의 출발점이다. 기존 접근은 플래너가 2D 픽셀 좌표를 예측하고 이를 장면 깊이에 따라 역투영하는 방식이어서 역투영 결과가 장면 지형에 종속되는 오류를 낳았다. 이 오류는 저수준 정책이 플래너의 의도와 장면 지오메트리를 구분하지 못해 실패로 이어졌다.

방법론

3D HAMSTER는 RGB 이미지와 깊이 맵, 언어 지시를 입력으로 받아 LLM 기반 플래너가 (u,v,d) 웨이포인트를 자기회귀적으로 생성하도록 설계되었다. 깊이 인코더는 깊이 맵을 전용 토큰으로 인코딩하고 RGB 토큰과 투영하여 통합된 비주얼-깊이 표상을 LLM에 제공함으로써 단일 뷰에서의 메트릭 깊이 보존을 도왔다. 학습은 두 단계로 이루어져 첫 단계에서는 깊이 프로젝터와 디코더만 학습해 깊이 표현을 LLM 공간에 정렬했고 두 번째 단계에서는 LoRA(rank=64)를 사용해 LLM 파라미터 일부를 미세조정하면서 궤적 예측을 학습했다.

주요 결과

3D 궤적 예측 평가(DroidSpatial-Bench)에서 깊이 인코더와 밀집 재구성 손실을 순차적으로 추가한 결과 5cm Both 정확도는 Qwen3-VL 기본에서 0.7%에서 최종 41.9% 수준으로 개선되었고 깊이 인코더 추가 시 42.6%로 증가했다. Colosseum 시뮬레이션 결과에서 3D HAMSTER를 사용한 경우 평균 성공률이 44.8%로 2D-guided와 unguided 대비 각각 6.0%p와 8.2%p 향상되었고 조명과 텍스처 변화 축에서 가장 큰 이득을 보였다. 실제 Franka Panda 실험에서는 버튼 누르기, 붓기, 집어넣기 과제에서 3D HAMSTER가 평균 80%, 68%, 62%를 기록해 2D 기반과 모놀리식 VLA 대비 분포 이동 상황에서 더 일관된 성능을 보였다.

기술 상세

전체 아키텍처는 RGB 비전 인코더, 깊이 인코더, 두 개의 프로젝터, LLM 백본, 깊이 디코더, 그리고 궤적 조건화 저수준 정책으로 구성되었다. 깊이 인코더 출력 z_D는 경량 디코더 f_dec로 보내져 복원된 깊이 맵 D^=f_dec(z_D)를 생성하고 이와 원본 깊이 D 사이의 ℓ1 손실 ℒ_depth=∥D−D^∥_1로 정규화되며 총 손실은 ℒ=ℒ_LM+λℒ_depth, λ=0.1로 합산되어 학습되었다. 학습 전략은 두 단계로 stage1에서 깊이 프로젝터와 디코더만 학습해 표현 정렬을 수행하고 stage2에서 양 인코더를 동결한 채 LoRA(rank=64)를 적용해 LLM의 나머지 파라미터를 미세조정하며 궤적 예측을 학습했다.

한계점

플래너는 RGB-D 센서로부터 얻은 명시적 깊이 맵을 전제로 하고 있어 깊이 센서가 없는 환경에서는 성능이 제한된다. 단일뷰 입력으로 동작하기 때문에 심하게 가려진(occluded) 장면이나 다중 뷰가 필요한 복잡한 배치에서는 취약성이 존재한다. 연구 평가는 단일 암 테이블탑 작업에 국한되어 있어 모바일 조작이나 양팔 협동 같은 더 복잡한 설정으로의 확대 가능성은 추가 검증이 필요하다.

실무 활용

깊이 센서가 제공되는 환경에서 3D HAMSTER의 설계는 기존 계층형 VLA에 비해 즉시 적용 가능성이 높다. 플래너가 출력하는 (u,v,d) 웨이포인트를 카메라 보정으로 월드 좌표로 변환해 포인트클라우드 정책에 주입하면 닫힌 루프 조작에 바로 활용할 수 있다.

테이블탑 단일 암 조작에서 픽 앤 플레이스와 정밀 높이 제어가 필요한 작업에 적용할 수 있다.
조명이나 질감이 변하는 실환경에서의 견고한 물체 배치 및 따르기 작업에 사용 가능하다.
시뮬레이션에서 학습한 저수준 정책을 실제 로봇에 전이할 때 계획과 제어 좌표계를 일치시켜 실패율을 낮출 수 있다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

Vision-Language Model(시각언어 모델)point cloud(포인트클라우드)dense depth reconstruction(밀집 깊이 재구성)trajectory conditioning(궤적 조건화)rectified flow matching(정류화된 흐름 매칭)

용어 해설

포인트클라우드(Point Cloud): — 로봇 조작에서 장면을 3차원 점 좌표들의 집합으로 표현한 것이다. RGB-D 센서로부터 생성된 각 점은 위치와 색상 정보를 가지며, 저차원 이미지 좌표와 달리 계측된 거리 정보를 명시적으로 포함해 거리 기반 경로 계획과 접촉 판단에 직접 사용된다.
밀집 깊이 재구성(Dense Depth Reconstruction): — 화면 전체 픽셀에 대해 실측 또는 추정되는 깊이 값을 복원하는 과제이다. 논문에서는 깊이 인코더 출력으로부터 전체 깊이 맵을 복원하여 L1 손실로 학습함으로써 모델 내부 표현이 장면의 기하학적 구조를 유지하도록 유도했다.
정류화 흐름 매칭(Rectified Flow Matching): — 확률적 노이즈가 섞인 동작 시퀀스에서 원래의 행동을 예측하기 위해 학습하는 프레임워크로, 노이즈화된 행동과 목표 행동 사이의 속도장을 모델이 회복하도록 지도한다. 3DFA 같은 저수준 정책에서 행동 덴오이징을 통해 연속적 모션을 생성하는 데 사용되었다.
깊이 인코더(Depth Encoder): — 깊이 맵을 입력으로 받아 기하학적 특성을 추출하는 신경망 모듈이다. RGB 기반 특징과 별도로 깊이 전용 토큰을 생성해 LLM의 표현 공간과 융합함으로써 단일 뷰에서도 메트릭 깊이 정보를 보존하도록 설계되었다.
궤적 조건화(Trajectory Conditioning): — 저수준 정책이 장면 포인트클라우드에 계획된 3D 웨이포인트들을 추가로 입력으로 받아 행동을 생성하는 방식이다. 논문에서는 궤적 점들을 색인하고 모달리티 임베딩을 더해 정책이 궤적과 장면을 구분해 활용하도록 했다.

3D 트래젝토리로 계획과 제어를 정렬하는 3D HAMSTER

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

로봇의 미래를 상상하는 World Model과 World Action Model의 진화

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

로봇의 미래를 상상하는 World Model과 World Action Model의 진화