동적 환경에서의 일반화 가능한 로봇 조작을 향하여

로봇이 실생활의 움직이는 물체와 상호작용하는 것은 매우 어렵습니다. 이 논문은 대규모 동적 데이터셋 DOMINO와 미래 예측 아키텍처 PUMA를 통해 로봇의 시공간 추론 능력을 극대화하여 변화무쌍한 환경에서의 작업 가능성을 열었습니다.

왜 중요한가

핵심 기여

DOMINO 데이터셋 구축

35개 작업, 11만 개 이상의 전문가 궤적을 포함하여 5종의 로봇 본체에서 수집된 대규모 동적 조작 벤치마크를 구축했다.

PUMA 아키텍처 제안

과거의 광학 흐름(Optical Flow)과 미래 상태 예측 쿼리를 결합하여 동적 환경 인식을 강화한 새로운 VLA 모델 아키텍처를 제안했다.

동적 난이도 계층화

예측 가능한 직선 운동부터 불규칙한 급변 운동까지 3단계 난이도 체계를 도입하여 모델의 견고성을 체계적으로 평가할 수 있게 했다.

일반화 능력 입증

동적 데이터로 학습된 모델이 정적 환경 작업에서도 우수한 성능을 보이며 더 강력한 시공간 표현을 형성함을 입증했다.

핵심 아이디어 이해하기

기존 VLA 모델은 단일 프레임 관찰에 의존하여 시공간 추론 능력이 부족합니다. 이는 마치 눈을 깜빡이며 움직이는 공을 잡으려는 것과 같아 정확한 타이밍 포착이 어렵습니다. PUMA는 과거의 광학 흐름(Optical Flow)을 통해 물체의 속도와 방향을 파악하고, 미래 상태를 예측하는 월드 쿼리(World Query)를 도입하여 이 문제를 해결합니다. 이를 통해 로봇은 물체의 궤적을 미리 계산하고 선제적으로 대응할 수 있게 되어, 동적 환경에서의 조작 성공률을 획기적으로 높였습니다.

방법론

DOMINO 데이터셋은 부분 관측 가능 마르코프 결정 과정(POMDP)으로 정식화되었습니다. 데이터 수집을 위해 정적 환경에서 작업을 수행한 후 시간을 역산하여 동적 객체의 초기 위치를 결정하는 2단계 동기화 기법을 사용했습니다. PUMA 모델은 Qwen-VL을 백본으로 하며, 과거 프레임 간의 광학 흐름을 계산하여 명시적인 동적 단서를 제공합니다. 학습 시에는 행동 복제를 위한 L1 손실 함수와 미래 특징 예측을 위한 코사인 유사도 손실 함수를 가중 합산하여 최적화합니다. [행동 예측값과 실제값의 차이 -> L1 연산 -> 손실값 도출 -> 로봇의 동작 정확도 향상] 순으로 학습이 진행됩니다.

주요 결과

PUMA는 DOMINO 벤치마크에서 평균 17.20%의 성공률(SR)을 기록하며 기존 SOTA 모델인 OpenVLA-OFT(10.86%)를 크게 앞질렀습니다. 조작 품질을 나타내는 Manipulation Score(MS)에서도 34.97점을 획득하여 가장 높은 성능을 보였습니다. 절제 연구(Ablation Study) 결과, 광학 흐름 정보와 미래 예측 모듈이 성능 향상의 핵심 요소임이 확인되었습니다. 특히 동적 데이터로 학습된 모델은 정적 환경에서도 우수한 일반화 성능을 보여, 동적 학습이 더 강력한 시공간 표현을 형성함을 입증했습니다.

기술 상세

PUMA 아키텍처는 장면 중심(Scene-centric)의 과거 동역학 인코딩과 객체 중심(Object-centric)의 미래 표현 학습을 결합합니다. 시각 인코더는 과거 프레임의 광학 흐름 맵을 입력받아 물체의 운동 경향성을 파악합니다. 모델 내부에는 행동 쿼리(Action Query)와 월드 쿼리(World Query)라는 이중 쿼리 메커니즘이 존재하며, 월드 쿼리는 미래의 객체 특징을 예측하도록 훈련됩니다. [과거 시공간 맥락 입력 -> 월드 쿼리 연산 -> 미래 특징 벡터 출력 -> 물체의 미래 상태 예측] 과정을 통해 추론 시 추가 연산 비용 없이 동적 인식을 수행합니다. GroundingDINO와 SAM2를 활용하여 학습 시 객체 중심의 감독 신호를 생성하는 것이 특징입니다.

한계점

미래 궤적 주입만으로는 불충분하며 과거 관찰 정보와의 통합이 필수적입니다. 또한 성공적인 에피소드에서도 실제 조작 단계에서 제어 지터(jitter)나 시간적 불일치가 발생할 수 있다는 한계가 있습니다.

실무 활용

이 연구는 물류 센터의 컨베이어 벨트 분류 작업이나 인간과 협업하는 제조 공정 등 실시간 대응이 필요한 로봇 시스템에 즉시 적용 가능합니다.

움직이는 컨베이어 벨트 위의 물건을 정확히 집어 바구니에 담기
사람이 던져주거나 건네주는 물체를 실시간으로 가로채거나 받기
실시간으로 위치가 변하는 부품을 조립하거나 이동 중인 장비 조작

코드 공개 여부: 공개

코드 저장소 보기

키워드

VLA(시각-언어-행동 모델)Dynamic Manipulation(동적 조작)Embodied AI(체화된 인공지능)Optical Flow(광학 흐름)Spatiotemporal Reasoning(시공간 추론)

용어 해설

시각-언어-행동 모델(VLA Model): — 시각 정보와 언어 지시를 입력받아 로봇의 구체적인 행동(Action)을 출력하는 통합 AI 모델입니다. 로봇이 주변 환경을 이해하고 지시사항에 맞는 동작을 수행하게 하는 핵심 기술입니다.
광학 흐름(Optical Flow): — 연속된 영상 프레임 사이에서 물체의 픽셀 단위 움직임을 계산하여 벡터로 표현하는 기법입니다. 이를 통해 로봇은 물체의 이동 속도와 방향을 명시적으로 파악할 수 있습니다.
부분 관측 가능 마르코프 결정 과정(POMDP): — 에이전트가 환경의 모든 상태를 알 수 없는 상황에서 최적의 의사결정을 내리기 위한 수학적 프레임워크입니다. 로봇 조작에서 센서의 한계로 인한 불확실성을 모델링하는 데 사용됩니다.
행동 복제(Behavioral Cloning): — 전문가의 시연 데이터를 모델이 그대로 따라 하도록 학습시키는 모방 학습의 일종입니다. 로봇이 특정 작업을 수행하는 전문가의 궤적을 학습하여 유사한 동작을 재현하게 합니다.

동적 환경에서의 일반화 가능한 로봇 조작을 향하여

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

DYNA Robotics가 공개한 100만 시간 휴먼 데이터 기반의 월드 액션 모델 DYNA-2

로봇 데이터 한계를 표현 학습으로 넘는 VLAct

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

DYNA Robotics가 공개한 100만 시간 휴먼 데이터 기반의 월드 액션 모델 DYNA-2

로봇 데이터 한계를 표현 학습으로 넘는 VLAct