동적 환경에서의 일반화 가능한 로봇 조작을 향하여

로봇이 실생활의 움직이는 물체와 상호작용하는 것은 매우 어렵습니다. 이 논문은 대규모 동적 데이터셋 DOMINO와 미래 예측 아키텍처 PUMA를 통해 로봇의 시공간 추론 능력을 극대화하여 변화무쌍한 환경에서의 작업 가능성을 열었습니다.

기존 VLA 모델은 단일 프레임 관찰에 의존하여 시공간 추론 능력이 부족합니다. 이는 마치 눈을 깜빡이며 움직이는 공을 잡으려는 것과 같아 정확한 타이밍 포착이 어렵습니다. PUMA는 과거의 광학 흐름(Optical Flow)을 통해 물체의 속도와 방향을 파악하고, 미래 상태를 예측하는 월드 쿼리(World Query)를 도입하여 이 문제를 해결합니다. 이를 통해 로봇은 물체의 궤적을 미리 계산하고 선제적으로 대응할 수 있게 되어, 동적 환경에서의 조작 성공률을 획기적으로 높였습니다.

DOMINO 데이터셋은 부분 관측 가능 마르코프 결정 과정(POMDP)으로 정식화되었습니다. 데이터 수집을 위해 정적 환경에서 작업을 수행한 후 시간을 역산하여 동적 객체의 초기 위치를 결정하는 2단계 동기화 기법을 사용했습니다. PUMA 모델은 Qwen-VL을 백본으로 하며, 과거 프레임 간의 광학 흐름을 계산하여 명시적인 동적 단서를 제공합니다. 학습 시에는 행동 복제를 위한 L1 손실 함수와 미래 특징 예측을 위한 코사인 유사도 손실 함수를 가중 합산하여 최적화합니다. [행동 예측값과 실제값의 차이 -> L1 연산 -> 손실값 도출 -> 로봇의 동작 정확도 향상] 순으로 학습이 진행됩니다.

PUMA는 DOMINO 벤치마크에서 평균 17.20%의 성공률(SR)을 기록하며 기존 SOTA 모델인 OpenVLA-OFT(10.86%)를 크게 앞질렀습니다. 조작 품질을 나타내는 Manipulation Score(MS)에서도 34.97점을 획득하여 가장 높은 성능을 보였습니다. 절제 연구(Ablation Study) 결과, 광학 흐름 정보와 미래 예측 모듈이 성능 향상의 핵심 요소임이 확인되었습니다. 특히 동적 데이터로 학습된 모델은 정적 환경에서도 우수한 일반화 성능을 보여, 동적 학습이 더 강력한 시공간 표현을 형성함을 입증했습니다.

PUMA 아키텍처는 장면 중심(Scene-centric)의 과거 동역학 인코딩과 객체 중심(Object-centric)의 미래 표현 학습을 결합합니다. 시각 인코더는 과거 프레임의 광학 흐름 맵을 입력받아 물체의 운동 경향성을 파악합니다. 모델 내부에는 행동 쿼리(Action Query)와 월드 쿼리(World Query)라는 이중 쿼리 메커니즘이 존재하며, 월드 쿼리는 미래의 객체 특징을 예측하도록 훈련됩니다. [과거 시공간 맥락 입력 -> 월드 쿼리 연산 -> 미래 특징 벡터 출력 -> 물체의 미래 상태 예측] 과정을 통해 추론 시 추가 연산 비용 없이 동적 인식을 수행합니다. GroundingDINO와 SAM2를 활용하여 학습 시 객체 중심의 감독 신호를 생성하는 것이 특징입니다.

미래 궤적 주입만으로는 불충분하며 과거 관찰 정보와의 통합이 필수적입니다. 또한 성공적인 에피소드에서도 실제 조작 단계에서 제어 지터(jitter)나 시간적 불일치가 발생할 수 있다는 한계가 있습니다.