MolmoSpaces: 로봇 학습을 위한 대규모 개방형 엠바디드 AI 생태계

핵심 요약

로봇이 실제 환경에서 일반화된 능력을 갖추기 위해서는 통제된 환경을 넘어선 방대한 학습 데이터와 정교한 시뮬레이션이 필수적이다. Allen Institute for AI(AI2)는 이를 위해 23만 개 이상의 실내 장면과 13만 개의 객체 모델을 통합한 개방형 생태계인 MolmoSpaces를 공개했다. 이 플랫폼은 MuJoCo와 NVIDIA Isaac Lab 등 주요 시뮬레이터와 호환되며, 4,200만 개 이상의 정교한 로봇 파지(Grasp) 데이터를 제공하여 물리 기반의 조작 학습을 지원한다. MolmoSpaces-Bench를 통해 다양한 환경 변수에서의 성능을 체계적으로 평가할 수 있어 차세대 로봇 AI 연구의 핵심 인프라가 될 전망이다.

배경

로봇 공학 기초 지식, 시뮬레이션 환경(MuJoCo, Isaac Sim)에 대한 이해, PyTorch 등 머신러닝 프레임워크 활용 능력

대상 독자

로봇 학습 및 엠바디드 AI 연구자, 시뮬레이션 기반 ML 엔지니어

의미 / 영향

로봇 학습에 필요한 방대한 데이터를 표준화된 개방형 생태계로 제공함으로써, 중소 규모 연구실도 고수준의 로봇 AI 연구를 수행할 수 있는 환경을 조성한다. 특히 시뮬레이터 간 호환성을 확보하여 데이터 파편화 문제를 해결하고 로봇의 일반화 성능 향상을 가속화할 것으로 기대된다.

섹션별 상세

MolmoSpaces는 Objaverse와 THOR에서 큐레이션한 13만 개 이상의 객체 모델과 23만 개 이상의 실내 장면을 단일 생태계로 통합했다. 주거 공간부터 사무실, 병원, 박물관에 이르는 다양한 환경을 포함하며, 모든 자산은 MJCF 및 USD 형식으로 제공되어 MuJoCo, ManiSkill, NVIDIA Isaac Lab/Sim 등 다양한 시뮬레이터에서 즉시 활용 가능하다. 이는 연구자들이 특정 시뮬레이터에 종속되지 않고 대규모 자산을 생성하고 체계적으로 평가할 수 있는 환경을 제공한다.

과거의 단순화된 물리 모델이나 '매직 파지(Magic Grasps)' 방식에서 벗어나, MuJoCo와 같은 물리 엔진을 사용하여 실제 접촉력을 정교하게 모델링했다. 강체 객체의 질량과 밀도는 LLM 주석과 비교 검증을 거쳤으며, 관절이 있는 객체는 실제 로봇(Franka FR3)의 궤적 데이터를 기반으로 물리 파라미터를 튜닝했다. 또한 CoACD를 활용한 충돌 메쉬 생성과 수동 주석 처리를 통해 안정적이고 정밀한 물리 상호작용이 가능하도록 설계했다.

단순한 성공률 측정을 넘어 객체의 형상, 크기, 무게, 조명, 시점 등 다양한 변수 하에서 로봇 정책의 일반화 능력을 측정하는 MolmoSpaces-Bench를 포함한다. 연구자는 마찰력이나 질량과 같은 물리적 동역학부터 작업의 복잡도와 의미론적 지시어 변화에 이르기까지 개별 요소를 독립적으로 제어하며 실험할 수 있다. 이러한 체계적 변동성은 모델의 실패 모드를 식별하고 시뮬레이션에서 학습된 능력이 실제 세계로 얼마나 잘 전이되는지(Sim-to-Real) 분석하는 데 도움을 준다.

4,8000개 이상의 객체에 대해 4,200만 개 이상의 6-DoF(6자유도) 파지 포즈 데이터를 제공하여 대규모 모방 학습과 데이터셋 생성을 지원한다. 파지 데이터는 Robotiq-2F85 그리퍼 모델을 기준으로 샘플링되었으며, 선형 및 회전 섭동 테스트를 통해 견고성을 검증했다. 특히 관절 객체의 경우 가동 범위의 70% 이상에서 안정적인 접촉을 유지할 수 있는지를 평가하여 실제 조작 가능성을 확보했다.

실무 Takeaway

23만 개 이상의 물리 기반 장면과 13만 개의 객체 데이터를 활용하여 로봇의 일반화 성능을 획기적으로 높일 수 있다.
USD 및 MJCF 표준 포맷 지원을 통해 NVIDIA Isaac Sim과 MuJoCo 등 이기종 시뮬레이터 간의 데이터 호환성 문제를 해결했다.
4,200만 개의 검증된 파지 데이터를 활용하여 복잡한 조작 작업에 대한 대규모 모방 학습(Imitation Learning) 데이터셋을 빠르게 구축할 수 있다.