CMU 연구진, 텍스트로 물리 법칙을 따르는 시뮬레이션용 3D 장면 생성 프레임워크 'PAT3D' 개발

섹션별 상세

PAT3D는 텍스트 프롬프트를 기반으로 중력과 객체 간 접촉 등 물리적 힘 아래에서도 안정적으로 유지되는 3D 장면을 생성한다. 기존 시스템이 시각적 형태에만 집중하여 물체가 부자연스럽게 배치되던 문제를 물리 시뮬레이터 결합을 통해 해결했다.

생성 프로세스는 3단계로 구성된다. 먼저 LLM이 사용자 설명을 바탕으로 시각적으로 그럴듯한 장면 초안을 생성한다. 이어 VLM이 장면 내 객체들이 서로 어떻게 지지하고 배치되어야 하는지 관계를 추출한다.

추출된 관계 정보는 '물리 교사' 역할을 하는 시뮬레이터에 의해 평가된다. 시뮬레이터는 실제 물리적 제약 조건을 확인하고, 장면이 안정화될 때까지 객체의 위치를 미세하게 조정하여 최종 결과물을 도출한다.

이 시스템은 장면의 복잡도에 따라 생성에 10분에서 30분 정도 소요된다. 이는 전문 디자이너가 수동으로 작업할 때 며칠에서 몇 주가 걸리던 과정을 자동화하여 생산성을 대폭 향상시킨 결과이다.

로봇 학습 분야에서 특히 유용하다. 로봇은 실제 배치 전 가상 환경에서 훈련을 거치는데, PAT3D가 생성하는 물리적으로 정확한 시뮬레이션 환경은 가상과 실제의 간극을 줄여 로봇의 성능을 높인다.

시뮬레이션-투-리얼(Sim-to-Real): — 가상 환경(시뮬레이션)에서 학습된 AI 모델이나 로봇 제어 알고리즘을 실제 물리 세계에 적용하는 기술이다. 가상 세계와 실제 세계 사이의 물리적 차이를 최소화하는 것이 핵심이며, PAT3D와 같이 물리적으로 정확한 시뮬레이션 환경 구축이 성공의 필수 요소이다.
시각 언어 모델(VLM): — 텍스트와 이미지를 동시에 처리하고 이해할 수 있는 인공지능 모델이다. PAT3D 프레임워크 내에서 생성된 3D 장면 초안을 분석하여 객체 간의 지지 관계나 상대적 위치와 같은 공간적 맥락 정보를 추출하는 핵심적인 역할을 수행한다.
물리적 근거 설정(Physics Grounding): — 생성된 데이터나 모델이 실제 물리 법칙(중력, 충돌 등)을 준수하도록 보장하는 과정이다. 단순히 시각적으로 그럴듯한 결과물을 만드는 것을 넘어, 실제 세계와 동일하게 상호작용하고 안정성을 유지할 수 있는 데이터를 생성하는 데 필수적이다.

시뮬레이션-투-리얼(Sim-to-Real): — 가상 환경(시뮬레이션)에서 학습된 AI 모델이나 로봇 제어 알고리즘을 실제 물리 세계에 적용하는 기술이다. 가상 세계와 실제 세계 사이의 물리적 차이를 최소화하는 것이 핵심이며, PAT3D와 같이 물리적으로 정확한 시뮬레이션 환경 구축이 성공의 필수 요소이다.
시각 언어 모델(VLM): — 텍스트와 이미지를 동시에 처리하고 이해할 수 있는 인공지능 모델이다. PAT3D 프레임워크 내에서 생성된 3D 장면 초안을 분석하여 객체 간의 지지 관계나 상대적 위치와 같은 공간적 맥락 정보를 추출하는 핵심적인 역할을 수행한다.
물리적 근거 설정(Physics Grounding): — 생성된 데이터나 모델이 실제 물리 법칙(중력, 충돌 등)을 준수하도록 보장하는 과정이다. 단순히 시각적으로 그럴듯한 결과물을 만드는 것을 넘어, 실제 세계와 동일하게 상호작용하고 안정성을 유지할 수 있는 데이터를 생성하는 데 필수적이다.