텍스트로 가구를 조립하는 AI 로봇 시스템: MIT 연구진의 새로운 설계 방식

핵심 요약

기존 CAD 시스템은 전문가용 도구로서 신속한 프로토타이핑에 한계가 있다. MIT 연구진은 사용자의 자연어 명령을 물리적 객체로 변환하는 AI 기반 로봇 조립 시스템을 개발했다. 이 시스템은 생성형 AI로 3D 형상을 만들고, 비전-언어 모델(VLM)이 부품의 기능적 위치를 추론하여 로봇이 조립을 수행한다. 재사용 가능한 모듈형 부품을 사용하여 지속 가능성을 높였으며, 사용자 피드백을 통한 반복 설계가 가능하다.

배경

Generative AI 기초, Vision-Language Model(VLM) 개념, 3D Mesh 데이터 구조

대상 독자

로봇 공학 연구자, AI 기반 제조 시스템 개발자, 지속 가능한 디자인 전문가

의미 / 영향

이 기술은 항공우주 부품이나 건축 구조물과 같은 복잡한 객체의 신속한 프로토타이핑에 혁신을 가져올 수 있다. 장기적으로는 가정 내에서 필요한 가구를 현지에서 직접 제작하는 분산형 제조 시스템의 기반이 될 것으로 기대된다.

섹션별 상세

시스템은 2단계 생성형 AI 프로세스를 통해 멀티컴포넌트 설계를 생성한다. 먼저 텍스트 프롬프트를 기반으로 객체의 3D 메시(Mesh) 표현을 생성한 뒤, 비전-언어 모델(VLM)이 생성된 형상을 분석하여 구조적 부품과 패널 부품의 최적 배치 지점을 기능적으로 추론한다. 예를 들어 의자의 경우 사람이 앉거나 기댈 수 있도록 좌판과 등받이에 패널을 배치해야 함을 모델이 스스로 판단한다.

비전-언어 모델(VLM)은 로봇의 시각과 지능 역할을 동시에 수행한다. VLM은 수많은 예시 데이터를 통해 학습된 지식을 바탕으로 특정 부위의 명칭을 식별하고, 이를 3D 메시의 레이블과 매칭하여 최종 설계를 완성한다. 이는 단순한 형태 생성을 넘어 객체의 실제 용도와 기하학적 구조를 연결하는 핵심 기술이다.

사용자가 설계 과정 전반에 참여하는 인간-AI 협업 설계(Human-AI Co-design) 방식을 채택했다. 사용자는 실시간으로 '등받이에만 패널을 사용하라'와 같은 피드백을 제공하여 AI의 설계를 수정하고 개인의 취향을 반영할 수 있다. 이러한 루프 내 인간(Human-in-the-loop) 프로세스는 사용자에게 최종 결과물에 대한 소유감을 부여하고 설계의 정확도를 높인다.

로봇 시스템은 미리 제작된 표준 모듈형 부품을 사용하여 실제 조립을 수행한다. 사용된 부품들은 언제든 분해하여 다른 형태로 재조립할 수 있어 제조 과정에서 발생하는 폐기물을 줄이고 자원 효율성을 극대화한다. 사용자 연구 결과 90% 이상의 참가자가 기존의 단순 알고리즘 방식보다 본 AI 시스템이 설계한 객체를 선호하는 것으로 나타났다.

이미지 분석

Photo
선반, 커피 테이블, 의자, 램프, 그릇, 토끼 모양 장식 등 텍스트 명령에 따라 생성된 다양한 결과물을 보여준다. 각 이미지에는 '2단 선반 제작'이나 '좌판에 패널 추가'와 같은 구체적인 프롬프트와 피드백이 명시되어 시스템의 유연성을 증명한다.
다양한 텍스트 프롬프트와 피드백에 따라 로봇이 조립한 6가지 객체 예시.

Photo
AI 시스템이 설계하고 로봇이 조립한 실제 의자의 구조를 상세히 보여준다. 구조적 프레임과 사용자가 앉는 부위의 패널 부품이 어떻게 결합되었는지 시각적으로 확인할 수 있다.
모듈형 격자 큐브로 제작된 의자의 최종 형태.

실무 Takeaway

VLM을 활용해 3D 형상의 기하학적 구조와 기능적 목적(앉기, 기대기 등)을 연결하는 추론 메커니즘을 구현했다.
모듈형 부품과 로봇 조립을 결합하여 신속한 프로토타이핑과 자원 재활용이 가능한 지속 가능한 제조 모델을 제시했다.
자연어 인터페이스를 통해 전문 지식이 없는 일반인도 복잡한 물리적 객체 설계 및 제작 프로세스에 참여할 수 있는 기술적 기반을 마련했다.

언급된 리소스

논문Text to Robotic Assembly of Multi Component Objects using 3D Generative AI and Vision Language Models