WorldAgents: 2D 파운데이션 이미지 모델이 3D 월드 모델의 에이전트가 될 수 있는가?

기존 3D 생성 기술은 고품질 3D 데이터 부족으로 인해 표현의 다양성과 물리적 일관성 확보에 어려움을 겪어왔다. 이 논문은 이미 방대한 시각 지식을 학습한 2D 파운데이션 모델을 멀티 에이전트 체계로 엮어, 추가 학습 없이도 사실적이고 탐색 가능한 3D 환경을 구축하는 혁신적인 방법론을 제시한다.

기존의 3D 생성은 3D 데이터셋의 희소성 때문에 복잡한 실내외 환경을 다양하게 표현하는 데 한계가 있었다. 반면 2D Diffusion 모델은 수십억 장의 사진을 통해 세상의 시각적 지식을 학습했지만, 한 번의 프롬프트로 여러 각도에서 일관된 3D 장면을 그려내는 '다중 뷰 일관성'을 유지하지 못한다.

이 논문은 2D 모델을 단순한 도구가 아닌 '에이전트'로 정의하여 이 문제를 해결한다. VLM(시각 언어 모델)이 전체적인 방의 구조를 계획(Director)하고, 이미지 생성 모델이 특정 시점을 그려내면(Generator), 다시 VLM이 이전 장면들과 기하학적으로 잘 맞는지 검사(Verifier)하는 반복적인 루프를 형성한다.

특히 'Inpainting' 개념을 3D로 확장하여, 새로운 시점에서 보이지 않는 영역(Blind spots)만 골라 채우는 방식을 사용한다. 이는 마치 퍼즐을 맞추듯 기존 구조를 유지하면서 공간을 확장하는 원리로, 딥러닝 모델의 잠재 공간에 저장된 3D 지식을 체계적으로 추출해내는 과정이다.

전체 시스템은 Director, Generator, Verifier 세 가지 에이전트의 협업으로 구동된다. Director(VLM)는 현재까지 생성된 장면의 이력을 분석하여 다음에 탐색할 최적의 카메라 포즈 $P_{t+1}$과 해당 시점에서 그려야 할 내용에 대한 텍스트 프롬프트 $y_{t+1}$을 생성한다. [현재 카메라 포즈 $P_t$에 고정된 회전 행렬 $R_{fixed}$와 무작위 변환 $T_{random}$을 곱한다] → [행렬 곱셈 연산을 통해 새로운 좌표계 값을 산출한다] → [다음 시점의 카메라 위치와 방향 $P_{t+1}$이 결정된다] → [이 값은 Generator가 어느 각도에서 그림을 그려야 할지 알려주는 기준이 된다].

Generator는 3D 재구성 모델(AnySplat)로부터 얻은 중간 결과물을 새로운 시점 $P_{t+1}$로 투영(Warping)하여 입력값으로 받는다. [현재까지 수집된 이미지와 포즈 정보의 집합 $\mathcal{W}_t$를 입력으로] → [AnySplat 알고리즘을 통해 3D 공간 상의 가우시안 점구름을 최적화한다] → [3D 장면의 기하학적 표현체인 $\Theta_t$를 생성한다] → [이 데이터는 임의의 시점에서 장면을 다시 렌더링할 수 있는 기반이 된다]. 이후 Diffusion 모델이 비어 있는 영역만 주변 맥락에 맞게 Inpainting하도록 유도한다.

Verifier는 2단계 검증을 수행한다. 1단계(2D)에서는 VLM이 생성된 이미지의 시각적 품질과 프롬프트 일치도를 판단한다. 2단계(3D)에서는 신규 프레임을 포함해 다시 3D 재구성을 수행한 후, PSNR, SSIM, LPIPS 수치를 계산한다. [재구성된 뷰와 원본 뷰의 픽셀 차이를 계산하여 하나의 숫자로 변환한다] → [VLM이 이 수치와 이미지를 종합 분석한다] → [기하학적 왜곡 발생 여부를 이진(0 또는 1) 값으로 결정한다] → [최종 승인된 프레임만 3D 월드 데이터셋에 추가된다].

메인 벤치마크에서 Text2Room 및 WorldExplorer와 비교했을 때, CLIP Score(프롬프트 일치도)와 CLIP-IQA(이미지 품질) 면에서 압도적인 성능을 보였다. 특히 Flux.2 [Pro]와 GPT-4.1 조합에서 CLIP Score 26.79, IQA 0.89를 기록하며 가장 높은 품질을 달성했다. 이는 기존 SOTA 모델인 WorldExplorer(CS 24.49, IQA 0.58)를 크게 상회하는 수치이다.

Ablation Study 결과, Verifier 에이전트가 없을 경우 3D 재구성 과정에서 기하학적 왜곡과 블러 현상이 심화됨을 확인했다. Director 에이전트는 장면의 의미적 중복을 방지하고 다양한 가구와 소품이 배치되도록 유도하여 장면의 복잡도를 높였다. Inpainting 기법을 적용하지 않았을 때는 다중 뷰 일관성이 깨지며 장면의 연속성이 저하되는 결과가 나타났다.

정성적 평가에서 기존 모델들이 물체가 없는 영역을 만들거나 구조적 현실성이 떨어지는 반면, WorldAgents는 SF 실험실이나 복잡한 사이버펑크 아파트 등 고해상도의 세밀한 디테일을 가진 3D 공간을 성공적으로 생성했다. 사용자는 생성된 공간 내부를 자유롭게 이동하며 끊김 없는 시각적 경험을 할 수 있음이 확인됐다.

본 연구는 3D Gaussian Splatting(3DGS)을 핵심 표현체로 사용하며, AnySplat 프레임워크를 통해 비정형 뷰 세트로부터 빠르게 3D 구조를 도출한다. 이는 NeRF 대비 렌더링 속도가 빠르고 에이전트 루프 내에서 반복적인 재구성이 가능하게 하는 기술적 기반이 된다.

Director 에이전트의 정책은 VLM을 통해 구현되며, 환경 컨텍스트를 뷰별 텍스트 프롬프트로 매핑하는 역할을 한다. $y_{t+1} = \mathcal{D}(\mathcal{W}_t)$ 식을 통해 이전 상태 $\mathcal{W}_t$를 기반으로 다음 행동을 결정하는 마르코프 결정 과정(MDP)과 유사한 구조를 띈다. 이를 통해 에이전트는 단순히 이미지를 생성하는 것을 넘어 공간을 '탐험'하는 지능적 행동을 수행한다.

Generator의 Inpainting 과정은 명시적인 마스크 입력 없이도 작동하도록 설계되었다. AnySplat으로 렌더링된 이미지에서 관측되지 않은 영역을 검은색으로 처리하여 모델에 입력하면, 파운데이션 모델이 이를 자연스럽게 채워 넣는 제로샷 능력을 활용한다. 이는 모델의 가중치를 수정하지 않고도 3D 구조 정보를 주입하는 효과적인 방법이다.

Verifier의 3D 검증 단계는 정량적 지표(PSNR, SSIM, LPIPS)를 VLM의 추론 능력과 결합한 하이브리드 방식이다. 단순 임계값 기반 필터링의 한계를 극복하기 위해, VLM이 메트릭 수치와 실제 렌더링 쌍을 함께 보고 기하학적 안정성을 종합 판단하도록 설계되어 시스템의 신뢰성을 높였다.

현재는 정적인 2D 이미지 모델을 기반으로 하므로 비디오 모델이 가진 자연스러운 시간적 연속성을 완전히 활용하지 못하며, 매우 긴 경로를 탐색할 때 기하학적 오차가 누적될 가능성이 있다. 또한 매 단계 3DGS 재구성이 반복되므로 장면 하나를 생성하는 데 약 25분이 소요되는 등 속도 면에서 개선이 필요하다.