KinDER: 로봇 학습 및 계획을 위한 물리적 추론 벤치마크

로봇이 실세계에서 복잡한 작업을 수행하려면 도구 사용이나 동적 제약 조건과 같은 물리적 원리를 이해해야 하지만, 기존 벤치마크는 언어나 인지 능력에 치중되어 있었습니다. KinDER는 인지적 요소를 배제하고 순수하게 물리적 추론 능력만을 측정할 수 있는 표준화된 환경을 제공하여 로봇 지능 연구의 새로운 방향을 제시합니다.

로봇 학습에서 기존의 한계는 복잡한 작업 성공이 순수한 물리적 이해 덕분인지, 아니면 단순히 언어적 지시나 시각적 패턴을 암기한 결과인지 구분하기 어렵다는 점이었다. KinDER는 이를 해결하기 위해 로봇의 행동을 결정하는 핵심 요소인 Kinematic(기하학적 연결)과 Dynamic(힘과 운동) 제약 조건을 독립적으로 평가할 수 있도록 설계되었다.

동작 원리는 객체 중심 상태(Object-centric state) 정의에서 출발한다. 로봇과 주변 사물의 위치, 속도, 크기를 벡터로 수치화하여 모델이 시각적 노이즈 없이 물리적 관계에만 집중하게 만든다. 예를 들어, 장애물을 치워야 목표물에 접근할 수 있는 상황에서 모델은 '장애물 이동'이라는 기하학적 제약 해결 과정을 학습해야 한다.

이러한 접근은 로봇이 단순히 '무엇을 할지'를 넘어 '물리 법칙 안에서 어떻게 가능하게 할지'를 추론하게 한다. 실험 결과, 최신 LLM이나 VLA 모델조차도 도구 사용이나 복잡한 동적 제약이 포함된 환경에서는 성능이 급격히 저하됨을 확인했으며, 이는 로봇 지능 발전을 위해 물리적 추론에 특화된 학습이 필수적임을 시사한다.

KinDER는 환경을 네 가지 범주(Kinematic2D, Dynamic2D, Kinematic3D, Dynamic3D)로 구분하여 물리적 복잡도를 단계별로 정의한다. Kinematic 환경은 속도나 가속도를 배제하고 객체의 포즈와 충돌 여부만으로 상태 전이를 결정하며, Dynamic 환경은 Pymunk나 MuJoCo 물리 엔진을 사용하여 마찰, 중력, 관성 등 실제 물리 법칙을 시뮬레이션한다.

상태 표현은 객체 중심 벡터 S ∈ R^(N×D)를 입력으로 사용한다. 여기서 N은 객체 수, D는 각 객체의 특징 차원이다. 로봇의 관절 각도 θ와 속도 dθ/dt가 입력되면 순방향 운동학(Forward Kinematics) 연산을 통해 말단 장치의 위치를 계산하고, 이를 기반으로 객체와의 상호작용 결과를 출력한다. [로봇 관절값 → FK 연산 → 말단 위치 → 물리 엔진 충돌 처리 → 다음 상태 및 보상] 순으로 계산이 이루어진다.

학습 및 구현 상세에서는 13개의 베이스라인을 표준화된 인터페이스로 통합했다. 특히 Bilevel Planning(BP)은 추상적인 스킬 계획과 구체적인 모션 샘플링을 결합하며, LLM/VLM 기반 플래너는 객체 상태 정보를 텍스트나 이미지 프롬프트로 변환하여 행동 시퀀스를 생성한다.

실험 결과, Bilevel Planning(BP)이 평균 성공률 0.57로 가장 높은 성능을 보였으며, 이는 물리적 제약을 명시적으로 고려하는 전통적인 계획 방식의 강점을 보여준다. 반면, 최신 파운데이션 모델 기반인 VLA는 0.32, LLMIn-context는 0.43의 성공률을 기록하며 복잡한 물리적 추론 과제에서 여전히 한계가 있음을 드러냈다.

동적 제약이 포함된 DynPushPullHook2D 환경에서는 VLA가 0.43의 성공률을 기록하며 유일하게 유의미한 성과를 냈는데, 이는 사전 학습된 대규모 데이터가 복잡한 도구 사용 시나리오에서 일반화 능력을 제공함을 의미한다. 하지만 장기 의존성이 필요한 SweepIntoDrawer3D 과제에서는 대부분의 모델이 0.14 이하의 낮은 성공률을 보여 복잡한 다단계 물리 작업의 어려움을 입증했다.

KinDER 아키텍처는 Gymnasium 표준을 계승하면서도 로봇 공학 특유의 계층적 구조를 지원한다. KinDERGym은 스킬(Skill)을 PDDL 연산자와 샘플러가 결합된 옵션(Option)으로 정의하여, 고수준 계획과 저수준 제어를 분리할 수 있게 한다.

수학적 기반으로서 객체 중심 상태는 SE(2) 또는 SE(3) 공간에서의 포즈와 속도 벡터로 구성된다. 3D 환경에서는 TidyBot++ 모바일 베이스와 7자유도 Kinova Gen3 로봇 팔을 표준 하드웨어 모델로 채택하여 연구 간 비교 가능성을 높였다. 구현 측면에서는 PyBullet과 MuJoCo를 백엔드로 사용하여 운동학적 정확도와 동적 현실성을 모두 확보했다.

현재 벤치마크는 결정론적 환경을 주로 다루며, 실제 세계의 불확실성이나 부분 관측성(Partial Observability)은 충분히 반영하지 못하고 있다. 또한, 다양한 로봇 형태(Embodiment)나 다중 로봇 협업 시나리오는 포함되지 않았다.