OpenWorldLib: 고급 월드 모델을 위한 통합 코드베이스 및 정의

인공지능 분야에서 모호하게 사용되던 '월드 모델'의 개념을 지각, 상호작용, 장기 기억 능력을 갖춘 시스템으로 명확히 정의했습니다. 이를 바탕으로 다양한 월드 모델 관련 태스크를 하나의 인터페이스로 실행할 수 있는 통합 라이브러리를 제공하여 연구 효율성을 극대화했습니다.

기존의 월드 모델 연구는 비디오 생성이나 단순 예측 등 개별 태스크에 치중되어 있어, 실제 물리 세계와 상호작용하는 종합적인 지능을 평가하기 어려웠다. Transformer 기반의 LLM이 텍스트 토큰 간의 관계를 학습하듯, 월드 모델은 물리적 환경의 상태 변화(State Transition)와 그에 따른 관측값(Observation) 및 보상(Reward)의 확률 분포를 학습해야 한다.

이 논문은 월드 모델을 단순한 '예측기'가 아닌 '환경 시뮬레이터'로 접근한다. 지각(Perception)을 통해 얻은 정보를 임베딩 공간에 저장하고, 에이전트의 행동(Action)에 따라 다음 상태가 어떻게 변할지 시뮬레이션하는 과정을 기초 개념으로 삼는다. 특히 고차원의 시각 데이터를 직접 처리하는 대신, 잠재 공간(Latent Space)에서의 추론을 통해 복잡한 물리 법칙을 효율적으로 이해하도록 설계했다.

결과적으로 OpenWorldLib은 파편화된 기술들을 하나의 파이프라인으로 엮어낸다. 사용자가 입력한 명령이 Operator를 거쳐 정규화되고, Reasoning 모듈이 상황을 판단하며, Synthesis 모듈이 미래를 시각화하는 일련의 과정이 유기적으로 연결되어 실제 세계를 이해하고 예측하는 진정한 의미의 월드 모델 구현을 가능하게 한다.

OpenWorldLib은 6개의 핵심 모듈로 구성된 표준화된 추론 파이프라인을 채택했다. 첫째, Operator 모듈은 원시 입력 데이터를 검증하고 텐서 형태로 전처리한다. [원시 신호 입력 → 데이터 형식 검증 및 리사이징 → 표준화된 텐서 출력 → 하위 모듈 전달] 순으로 데이터 흐름을 제어한다.

둘째, Reasoning 모듈은 MLLM을 활용해 공간적, 시간적 인과 관계를 추론한다. 셋째, Synthesis 모듈은 비디오, 오디오 등 멀티모달 출력을 생성하며, 특히 VLA(Vision-Language-Action) 신호를 생성하여 로봇 제어와 연결한다. [추론된 컨텍스트 입력 → 확산 모델 기반 디코딩 → 비디오/액션 시퀀스 출력 → 물리적 피드백 생성] 과정을 거친다.

넷째, Representation 모듈은 3D 포인트 클라우드나 메쉬와 같은 명시적 구조를 생성하여 시뮬레이션 환경을 지원한다. 다섯째, Memory 모듈은 상호작용 이력을 기록하고 검색한다. 마지막으로 Pipeline 모듈이 이 모든 과정을 스케줄링하여 단일 턴 또는 다중 턴의 연속적인 상호작용을 실행한다.

실험 결과, OpenWorldLib은 다양한 최신 월드 모델들의 성능을 통합된 환경에서 성공적으로 검증했다. 대화형 비디오 생성 분야에서 Hunyuan-WorldPlay 모델이 가장 우수한 시각적 성능을 보였으며, Cosmos 모델은 복잡한 상호작용 연산에서 높은 물리적 사실성을 나타냈다.

3D 생성 실험에서는 VGGT와 InfiniteVGGT가 다각도 뷰 생성을 지원하지만 급격한 카메라 이동 시 기하학적 불일치가 발생하는 한계를 확인했다. 반면 FlashWorld는 품질과 속도 사이의 균형을 맞추며 실시간 시뮬레이션 가능성을 입증했다. VLA(Vision-Language-Action) 태스크에서는 PaliGemma 백본 기반의 모델들이 LIBERO 및 AI2-THOR 환경에서 정교한 로봇 팔 조작 능력을 보여주었다.

OpenWorldLib 아키텍처는 객체 지향 설계를 통해 각 모듈의 독립성을 보장한다. 모든 모듈은 BaseOperator, BaseReasoning 등 추상 베이스 클래스를 상속받아 일관된 API를 유지한다. 특히 Memory 모듈은 단순 저장을 넘어 컨텍스트 검색(Context Retrieval)과 압축(Compression) 기능을 포함하여 긴 시퀀스의 상호작용에서도 효율적인 상태 관리가 가능하도록 설계되었다.

구현 측면에서는 NVIDIA A800(80GB) 및 H200(141GB) GPU 환경에서 최적화되었으며, 로컬 추론뿐만 아니라 클라우드 기반 API 연동을 지원하는 서비스 통합 레이어를 갖추고 있다. 이는 연구자들이 새로운 모델을 개발할 때 기존의 전처리나 메모리 관리 로직을 재작성할 필요 없이 핵심 알고리즘에만 집중할 수 있게 한다.

현재의 월드 모델 아키텍처는 비디오 생성 효율성 면에서 여전히 개선의 여지가 많으며, 특히 하드웨어 수준에서 다음 토큰 예측에 최적화된 현재의 구조가 다음 프레임 예측에는 비효율적일 수 있음을 명시했다. 또한 3D 생성 시 급격한 시점 변화에 따른 기하학적 불일치 문제가 여전히 존재한다.