2D 픽셀 선택으로 장거리 로봇 내비게이션 정렬

왜 중요한가

TAMP-Nav는 VLM의 2D 시각 능력과 로봇의 3D 이동 제어 사이의 불일치를 줄이면서, 긴 경로에서 발생하는 추론 지연과 메모리 과부하를 함께 다룹니다. 90k개 궤적만으로 R2R-CE에서 66.2% SR을 기록했고, 단일 A800에서 과제당 평균 16.58초로 실행되어 정확도와 데이터·추론 효율을 동시에 겨냥했습니다.

핵심 기여

2D 픽셀 선택과 3D 이동의 결합

VLM이 네 개의 egocentric view 중 하나를 고르고 목표 waypoint의 2D 픽셀을 출력하면, 깊이 맵과 카메라 내부 행렬을 이용해 3D 점으로 변환합니다. 저수준 SLAM controller가 이 점까지 이동하므로 VLM이 복잡한 3D 좌표 회귀를 직접 학습하지 않아도 됩니다.

핵심 노드 중심의 추론과 메모리 압축

교차로와 문처럼 중요한 지점에서는 CoT와 원시 시각 특징을 Anchor로 저장하고, 일반적인 이동 구간은 위치·시간·방향을 담은 Space-Time Indicator 토큰으로 압축합니다. 이 구조는 전체 기록의 attention dilution을 줄이면서 장거리 경로의 시공간 연결을 유지합니다.

전역·국소 보상을 결합한 Two-Level GRPO

각 명령어에 대해 8개의 완성 궤적을 만들고 단계마다 4개의 후보 행동을 샘플링합니다. 궤적 수준의 성공·SPL·추론 밀도 보상과 단계 수준의 목표 접근·충돌 회피·정지·추론 가치·형식 보상을 함께 사용해 정책을 갱신합니다.

제한된 데이터와 실환경에서의 검증

MultiNav-CoT의 90k 궤적과 약 700k 상호작용으로 학습해 R2R-CE Val-Unseen에서 66.2% SR, RxR-CE Val-Unseen에서 65.7% SR을 기록합니다. 별도 실로봇 Fine-tuning 없이 100회 평가에서 60.0% 성공률을 얻어 StreamVLN의 49.0%와 DualVLN의 53.0%를 앞섰습니다.

핵심 아이디어 이해하기

기존 VLM 기반 navigation은 이미지와 언어를 잘 처리하더라도, 로봇에게 필요한 3D 좌표나 저수준 원자 행동을 직접 예측해야 하므로 2D 이미지·텍스트로 형성된 사전학습 prior와 실행 공간 사이에 간극이 생깁니다. TAMP-Nav는 이 문제를 줄이기 위해 모델의 행동을 2D 시각 prompting으로 바꿉니다.

모델은 네 방향의 egocentric image 중 하나를 고르고 그 안에서 이동할 목표 픽셀을 선택합니다. 선택된 픽셀의 깊이값과 카메라 내부 행렬을 입력으로 받아 3D 점을 계산하고, 이 점을 SLAM controller에 전달해 실제 이동으로 변환합니다. 따라서 VLM의 출력은 시각적으로 grounding된 2D 선택이고, 3D 기하 계산과 저수준 주행은 별도 모듈이 담당합니다.

긴 경로에서는 모든 프레임을 계속 보관하면 context가 넘치고 attention이 분산되며, 일부 프레임만 남기면 중요한 전환점이 사라집니다. TAMP-Nav는 CoT를 실행한 핵심 노드에 원시 시각 특징과 진행 상태를 저장하고, 그 사이의 모든 이동은 위치·시간·방향을 담은 STI 토큰으로 기록합니다. 이로써 시각적 의미가 필요한 지점과 경로의 연속성을 서로 다른 형태로 보존합니다.

추론도 매 단계 고정하지 않습니다. 시각 변화와 명령어 관련도가 높은 지점을 학습 데이터의 CoT Anchor로 삼고, GRPO 단계에서는 전역 성공 보상과 국소 행동 보상을 함께 제공해 모델이 스스로 추론 시점을 조절하게 합니다. 그 결과 Auto 전략은 Dense CoT와 비슷한 66.2% SR을 26.3% CoT 비율로 얻었고, 직선 복도에서의 추론 비율은 SFT 모델의 38%에서 RL 이후 11%로 낮아졌습니다.

방법론

TAMP-Nav는 현재 네 개의 360도 egocentric 관측과 명령어, 그리고 과거 Anchor-Trajectory Memory를 입력으로 받습니다. VLM은 최적 view와 픽셀 좌표를 출력하고, 선택된 픽셀의 깊이값 D와 카메라 내부 행렬 K를 이용해 $P_t=D_{t,i}(u,v)K^{-1}[u,v,1]^T$ 를 계산합니다. 여기서 (u,v)는 이미지 픽셀, D는 해당 픽셀의 깊이, K는 카메라 내부 파라미터이며, 입력된 픽셀과 깊이에서 광선 방향을 복원한 뒤 3D 점 P를 생성합니다. 생성된 점은 세계 좌표계로 변환되어 SLAM controller의 waypoint가 됩니다.

메모리는 CoT가 발생한 Anchor와 일반 구간의 STI로 나뉩니다. Anchor에는 시공간 토큰, 고해상도 시각 특징, task phase를 요약한 상태가 들어가고, Anchor 사이의 구간에는 각 시점의 x·y·yaw·t만 남깁니다. STI는 위치와 시간, 방향의 sin(yaw)·cos(yaw)를 각각 RoPE로 인코딩한 뒤 concatenate하고 MLP로 모델의 hidden dimension에 투영합니다. 방향을 삼각함수 쌍으로 바꾸면 0도와 360도 경계에서 같은 방향이 불연속적으로 달라지는 문제를 피할 수 있습니다.

MultiNav-CoT는 VLN-CE에서 추출한 90k 궤적을 사용하며, 검은 이미지와 Gemini 평가에서 낮은 품질로 판정된 명령어를 제외합니다. 각 궤적의 프레임마다 CLIP 기반 명령어·시각 관련도와 장면 변화량을 더해 점수를 계산하고, 거리 기반 greedy filtering으로 가까운 후보를 제거한 뒤 먼 노드 사이에는 시간적 보간을 넣습니다. 최종적으로 궤적의 약 30%가 CoT Anchor가 되며, Gemini 2.5 Flash가 task phase localization, 현재 관측 분석, 미래 행동 추론을 별도 생성한 뒤 이를 하나의 CoT로 결합합니다.

학습은 Qwen2.5-VL-7B의 짧은 SFT cold start 뒤 GRPO로 이어집니다. 단계 보상은 목표 접근, 충돌 회피, 정지 행동, 추론 가치, JSON과 공간 형식 준수의 다섯 항을 가중합하고, 궤적 보상은 성공, SPL 기반 효율, 추론 밀도로 구성합니다. 명령어마다 G=8개의 완성 궤적을 만들고 각 단계에서 M=4개의 후보 행동을 샘플링하며, 초기에는 $P_{select}(a_i)=\exp(\beta_kR_{local}(a_i))/\sum_j\exp(\beta_kR_{local}(a_j))$ 로 국소 보상이 높은 후보를 더 자주 선택합니다. 학습이 진행되어 β가 0에 가까워지면 선택 분포는 1/M에 가까워져 탐색성이 커집니다.

각 완성 궤적의 전역 보상은 G개 궤적 사이에서 Z-score 표준화하고, 실제 선택된 행동의 국소 보상은 같은 단계의 M개 후보 사이에서 별도로 표준화합니다. 두 결과를 $A_S^{(t)}=A_{global}+A_{local}^{(t)}$ 로 더해 전역 결과와 단계 행동의 상대적 우위를 함께 정책 업데이트에 반영합니다. 이 설계는 terminal reward만 사용할 때 발생하는 장기 credit assignment 문제를 줄이고, 초기에는 guided sampling으로 학습에 유용한 궤적을 더 많이 확보합니다.

주요 결과

R2R-CE Val-Unseen에서 TAMP-Nav는 NE 3.85, OSR 74.5%, SR 66.2%, SPL 58.8%를 기록했고, RxR-CE Val-Unseen에서는 NE 4.32, SR 65.7%, SPL 56.9%, nDTW 72.4%를 얻었습니다. SFT만 사용한 모델의 R2R-CE SR 55.7%에서 GRPO 후 66.2%로 10.5포인트 상승했으며, 학습에는 90k 궤적과 약 700k 상호작용만 필요했습니다. 평균 상호작용 단계는 9회로, StreamVLN과 DualVLN의 약 30회보다 짧았고 A800 한 장에서 과제당 평균 16.58초가 걸렸습니다.

긴 경로에서 expert path가 12.5m를 넘는 5,927개 궤적을 평가했을 때 TAMP-Nav의 SR은 49.8%로 StreamVLN 30.9%와 DualVLN 41.9%보다 높았습니다. 150–160 forward-action 구간에서도 TAMP-Nav는 약 40% SR을 유지한 반면 StreamVLN은 약 20%까지 낮아졌습니다. Full AT-Mem은 장거리 평가에서 49.8%였지만 STI를 제거하면 45.6%로 떨어져, 시각 Anchor만으로는 경로의 기하 연결성을 충분히 유지하기 어려웠습니다.

추론 개입 실험에서 Dense CoT는 CoT 비율 100%와 SR 66.8%였고, Fixed 1/3은 36.2%와 60.1%였습니다. Auto TAMP-Nav는 CoT 비율 26.3%로 SR 66.2%를 기록해 Dense CoT보다 추론 호출을 크게 줄이면서 거의 같은 성공률을 유지했습니다. 직선 복도에 배정된 추론 비율도 SFT 모델의 38%에서 RL 모델의 11%로 감소했습니다.

깊이 노이즈가 없는 조건의 SR은 66.2%였고, 상대 노이즈 σ=0.05, 0.1, 0.2에서 각각 65.9%, 65.3%, 63.4%였습니다. 가장 큰 시험 노이즈에서 감소폭은 2.8포인트였으며, 이는 선택 픽셀의 깊이가 흔들려도 폐루프 관측과 SLAM 실행이 일부 오차를 보정했음을 뜻합니다. 실환경에서는 20개 명령어를 각각 5회 반복한 100회 평가에서 TAMP-Nav가 60.0% SR을 얻어 StreamVLN 49.0%, DualVLN 53.0%보다 높았습니다.

기술 상세

Pixel-to-3D Action Formulation은 네 개의 egocentric view에서 하나를 선택한 뒤 픽셀 (u,v)를 행동으로 출력합니다. 깊이 맵 D와 카메라 내부 행렬 K가 주어지면 $P_t=D_{t,i}(u,v)K^{-1}[u,v,1]^T$ 로 카메라 좌표계의 3D 점을 계산하고, 이를 세계 좌표계로 변환해 SLAM controller에 전달합니다. 2D 픽셀 waypoint 방식은 NavFoM-style metric waypoint를 사용한 변형보다 R2R-CE SR을 30.9%에서 55.7%로, RxR-CE SR을 27.2%에서 52.4%로 높였습니다.

STI는 $E_{STI}(t,x,y,yaw)=MLP([RoPE_{2D}(x,y);RoPE_{1D}(t);RoPE_{2D}(sin(yaw),cos(yaw))])$ 로 구성됩니다. x와 y는 평면 위치, t는 시간 인덱스, yaw는 방향이며, concatenate된 임베딩을 MLP가 하나의 모델 입력 토큰으로 투영합니다. Anchor에는 이 STI와 현재 시각 특징, CoT 기반 상태 요약을 함께 저장하고, 비핵심 구간에는 STI만 저장해 시각 메모리 비용을 줄입니다.

CoT 노드는 프레임별 의미 관련도와 시각 변화량을 더한 $S(t)=S_{sem}(t)+S_{vis}(t)$ 로 후보화합니다. 점수가 높은 프레임을 거리 제약과 함께 greedy filtering하고, 연속 Anchor 사이의 공간 간격이 너무 크면 중간 프레임을 추가해 위상 연결을 보완합니다. 이 절차로 선택된 노드는 전체 궤적의 약 30%이며, Gemini 2.5 Flash는 각 노드에서 단계 위치, 현재 관측, 미래 행동을 따로 추론한 뒤 최종 CoT를 만듭니다.

국소 보상은 목표까지의 접근량, 이동 가능성, 올바른 STOP, CoT의 실제 가치, 출력 형식 준수를 각각 평가합니다. 전역 보상은 task success, SPL, reasoning density로 구성되어 성공하면서도 불필요한 추론을 억제합니다. 전역 보상만 사용한 GRPO의 최종 학습 reward는 0.59였지만, 국소 advantage를 추가하면 0.64, annealed guided sampling까지 추가한 Full Two-Level GRPO는 0.68에 도달했습니다.

초기 강화학습에서는 후보 행동의 국소 보상에 비례해 선택 확률을 조정하고, β_k=β_0·α^k로 그 영향을 점차 감소시킵니다. β가 양수인 초기에는 정보량 높은 후보가 궤적에 포함될 확률이 커지고, β가 0에 가까워지면 M개 후보가 균등하게 선택됩니다. 이 방식은 무작위 sampling만으로 낮은 품질 rollout이 많이 생기는 초기 학습 문제를 줄이고, 이후에는 탐색을 회복합니다.

구성요소 제거 실험에서 Full Two-Level GRPO는 R2R-CE SR 66.2%였고, annealed guidance를 제거하면 63.4%, 궤적 수준 보상만 사용하면 59.3%였습니다. Full AT-Mem은 66.2%였지만 STI 제거 시 63.6%로 낮아졌고, long-horizon subset에서는 49.8%에서 45.6%로 감소했습니다. Dense CoT는 SR 66.8%를 얻었지만 Auto 방식은 26.3% CoT 비율로 66.2%를 기록해 계산량을 줄이는 대가가 0.6포인트에 그쳤습니다.

한계점

TAMP-Nav는 Pixel-to-3D 투영과 STI 좌표 인코딩에 깊이 정보가 필요하고, 이동 실행에는 안정적인 SLAM stack이 필요합니다. 큰 깊이 오류, 누적 odometry 또는 SLAM drift, localization failure, 동적 환경에서는 시험한 조건보다 성능 저하가 커질 수 있습니다.

GRPO 학습은 progress, success, SPL, collision을 계산하기 위해 시뮬레이터의 privileged signal을 사용합니다. 실로봇에서 온라인 reinforcement learning을 수행하지 못하며, 실환경 rollout은 시뮬레이션보다 느리고 온라인 보상 계산에는 목표 annotation, human feedback 또는 신뢰할 수 있는 verifier가 필요합니다. 따라서 현재 실환경 결과는 시뮬레이션에서 학습한 frozen policy의 zero-shot transfer에 한정됩니다.

CoT Anchor를 고르는 heuristic은 semantic similarity와 visual change에 의존합니다. 시각적으로 두드러지지 않은 의사결정 지점이나 R2R-CE·RxR-CE와 다른 instruction style에서는 핵심 상태를 놓칠 수 있어 추가 학습 데이터나 학습된 trigger criterion이 필요할 수 있습니다.

STI는 평면 위치 x·y와 방향을 저장하지만 높이 좌표를 포함하지 않아 여러 층을 명시적으로 구분하지 못합니다. Anchor의 task-progress 설명이 일부 보완하지만 완전한 3D localization을 대신하지는 못하며, 다층 건물과 불규칙 지형에서는 3D pose 확장이 필요합니다. 또한 reasoning-density reward의 0.4와 0.6 임계값은 R2R-CE·RxR-CE의 유용한 추론 밀도에 맞춰져 있어 다른 환경에서는 재조정이 필요합니다.

실무 활용

TAMP-Nav는 카메라와 깊이 센서, SLAM controller를 갖춘 실내·실외 이동 로봇의 자연어 navigation에 적용할 수 있습니다. 모델은 목표 3D 좌표를 직접 생성하지 않고 관측 이미지의 픽셀을 선택하므로, 고수준 VLM과 저수준 주행기를 분리한 시스템 구성에 적합합니다.

문·교차로·목표물처럼 중요한 지점에서만 CoT를 실행하는 장거리 실내 navigation
네 방향 카메라 관측에서 목표 픽셀을 선택해 SLAM waypoint로 변환하는 로봇 제어
실내 회의실·실험실·복도와 outdoor 구역을 포함한 자연어 지시 이동
긴 이동 이력에서 핵심 시각 Anchor와 STI를 결합하는 로봇 메모리 관리

코드 공개 여부: 공개

코드 저장소 보기

키워드

Large Vision-Language Models(대규모 시각언어 모델)Pixel-to-3D Action Formulation(픽셀-3D 행동 표현)2D visual prompting(2D 시각 프롬프팅)SLAM controller(SLAM 제어기)Chain-of-Thought(CoT, 사고 연쇄)Anchor-Trajectory Memory(Anchor 궤적 메모리)Space-Time Indicators(시공간 지시자)Group Relative Policy Optimization(GRPO, 그룹 상대 정책 최적화)process rewards(과정 보상)

용어 해설

Pixel-to-3D 행동 표현(Pixel-to-3D Action Formulation): — VLM이 3차원 이동 좌표를 직접 회귀하지 않고 현재 시야의 2D 픽셀을 선택하면, 깊이 맵과 카메라 내부 파라미터로 해당 픽셀을 3D 점으로 변환하는 방식입니다. 이렇게 얻은 waypoint를 SLAM controller가 실행해 2D 시각 사전학습과 실제 이동을 연결합니다.
Anchor-Trajectory Memory: — 긴 이동 기록을 모든 시각 특징으로 저장하지 않고, CoT가 실행된 핵심 노드는 시각·상태·좌표와 함께 보존하며 나머지 구간은 Space-Time Indicator로 압축하는 메모리 구조입니다. 핵심 장면의 의미 정보와 경로의 시공간 연결성을 함께 유지하는 데 목적이 있습니다.
Space-Time Indicator: — 위치 x·y, 시간 t, 방향 yaw를 Rotary Position Embedding과 MLP로 결합해 하나의 토큰으로 만드는 표현입니다. 방향은 sin(yaw)와 cos(yaw)로 바꾸어 0도와 360도 경계의 불연속을 피하며, 긴 경로에서 이동 순서와 기하 정보를 압축해 보존합니다.
Group Relative Policy Optimization: — 여러 후보 행동과 완성된 궤적을 그룹 단위로 비교해 정책을 갱신하는 강화학습 방법입니다. TAMP-Nav는 궤적 전체의 성공·효율 보상과 각 단계의 접근·충돌 회피·정지·추론·형식 보상을 각각 표준화한 뒤 합쳐, 장기 목표와 순간 행동을 동시에 학습시킵니다.
선택적 추론(Selective Reasoning): — 모델이 모든 이동 단계에서 Chain-of-Thought를 생성하지 않고, 교차로·문·목표물 주변처럼 중요한 위상 노드에서만 깊은 추론을 실행하는 방식입니다. 시각 변화와 명령어 관련도를 이용해 후보 노드를 고르고, 불필요한 구간의 추론 호출을 줄여 성능과 추론 지연 사이의 균형을 맞춥니다.
Pixel-to-3D 투영(Pixel-to-3D Projection): — 선택한 이미지 픽셀의 깊이값과 카메라 내부 행렬을 이용해 화면 좌표를 국소 3D 좌표로 변환하는 계산입니다. 변환된 점은 세계 좌표계로 옮겨진 뒤 저수준 SLAM controller의 이동 목표가 되며, 시뮬레이션에서는 실제 깊이 맵을 사용하고 실환경에서는 깊이 카메라를 사용합니다.

2D 픽셀 선택으로 장거리 로봇 내비게이션 정렬

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

훈련전용 비디오 기반 World‑Action 모델 SimWAM

로봇 데이터 한계를 표현 학습으로 넘는 VLAct

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

훈련전용 비디오 기반 World‑Action 모델 SimWAM

로봇 데이터 한계를 표현 학습으로 넘는 VLAct