멀티모달 에이전트의 3D 오픈 월드 구성

왜 중요한가

텍스트 요청에서 상호작용 가능한 3D 오픈 월드를 끝까지 구성하는 작업은 Asset 검색, 공간 배치, 도구 실행, 시각적 검증을 동시에 요구해 기존 Multimodal Agent의 약점을 드러냅니다. VibeWorlding은 2,616개 Asset, 323개 Seed World, 6,828개 Query를 묶은 Benchmark와 MCP 기반 Sandbox, Dual-Constraint Verifier, Multimodal RL 학습 환경을 함께 공개해 이 문제를 동일한 조건에서 평가하고 개선할 수 있게 했습니다. 실험에서는 GPT-5.5와 Qwen3.8-Max도 전체 Pass@1이 60% 아래였고, 핵심 병목이 의도 파악보다 충돌 없는 정밀한 3D 편집에 있음을 확인했습니다.

핵심 기여

3D 세계 구성용 VWE-Bench

2,616개의 고품질 3D Asset, 323개의 사람이 제작한 Seed World, 6,828개의 Reverse-Synthesized Multimodal Query로 구성된 Benchmark입니다. Query는 빈 장면에서의 구성과 기존 장면의 수정으로 나뉘며, 정답 Map을 가진 Verified Query 1,710개와 Rubric으로 평가하는 Unverified Query 5,118개를 포함합니다.

통합 3D 도구 Sandbox

Asset Retrieval, Add, Delete, Rotate, Translate를 하나의 Sandbox에서 실행하고 Blender로 매 턴 다섯 시점의 이미지를 Rendering합니다. Agent는 텍스트 Map과 Front·Back·Left·Right·Top-down 이미지를 함께 받아 다음 Tool Call을 결정합니다.

Dual-Constraint Verifier

Python 기반 기하 검사로 Height와 Collision을 확인한 뒤, MLLM Judge가 Ecological Plausibility, 3D Understanding, 3D Reasoning, Retrieval Plausibility를 평가합니다. Verified Query에는 Ground-Truth Map과의 Asset 수정 비율을 사용하고, Unverified Query는 모든 물리·의도 항목을 통과해야 성공으로 집계합니다.

Joint Multimodal RL Post-Training

Cold-start SFT로 3D Tool Use와 Multi-turn Reasoning의 기초를 학습한 뒤, 텍스트 기반 구성과 이미지가 포함된 수정 작업을 함께 사용해 GRPO를 적용합니다. VibeWorlder-8B는 전체 Pass@1 41.4%로 Gemini 3.1-pro의 42.7%에 근접했고, VibeWorlder-30B-A3B는 59.3%로 평가 모델 중 가장 높은 전체 점수를 기록했습니다.

핵심 아이디어 이해하기

일반적인 MLLM은 사용자 문장과 이미지를 읽어 무엇을 원하는지 파악할 수 있지만, 그 의도를 실제 3D 좌표와 편집 명령으로 바꾸는 과정에서 오류를 냅니다. VibeWorlding은 매 턴마다 Agent가 생각과 Tool Call을 생성하고, Sandbox가 Asset 검색 결과와 현재 3D Map, 다섯 방향의 Rendering 이미지를 반환하는 폐쇄 루프를 구성합니다. 따라서 입력은 Query와 이전 관찰이고, 처리는 Asset 검색·추가·이동·회전·삭제와 장면 재검토이며, 출력은 갱신된 3D 세계입니다. 문제는 특히 ‘앞으로 7m 이동’처럼 방향과 거리를 동시에 요구할 때 커집니다. 논문의 실패 사례에서는 이동 거리 7m 자체는 맞았지만 좌표축 방향을 반대로 해 14m의 위치 오차가 발생했고, 요청하지 않은 Asset을 삭제하는 Overediting도 나타났습니다. RL은 3D Understanding을 0.17에서 0.80으로, 3D Reasoning을 0.04에서 0.69로 높였지만 Collision-Free 편집은 여전히 가장 약한 능력으로 남았습니다.

방법론

VWE-Bench는 세 단계로 만들어집니다. 먼저 Art-Annotator가 자연스러운 Open World를 구성할 3,148개 Concept Asset의 이름과 Category를 정하고, Gemini 3.1-flash-image로 참조 이미지를 만든 뒤 Hunyuan3D 3.1로 .glb Mesh를 생성합니다. 형상과 외관이 참조 이미지와 크게 다른 결과를 걸러내고 실제 크기와 Bounding Box를 부여해 2,616개 Asset을 남깁니다. 다음으로 이 Asset을 사용해 8개에서 258개 Asset을 포함하는 323개 Seed World를 만들고, MLLM이 장면을 읽어 빈 장면 구성 요청이나 기존 장면 수정 요청으로 거꾸로 변환합니다.

Agent는 Query와 상호작용 기록을 입력으로 받아 각 턴에 Thought와 하나 이상의 Tool Call을 출력합니다. Sandbox는 Tool Response와 현재 텍스트 Map, 다섯 시점에서 Rendering한 1280 × 720 이미지 다섯 장을 다음 관찰로 돌려줍니다. Asset Retrieval은 Qwen3-Embedding-4B 기반 Retriever가 Synthetic Positive-Negative Pair와 InfoNCE Loss로 학습한 결과를 사용하며, 이후 편집 도구는 위치·회전·Scale 파라미터를 적용합니다. Agent가 더 이상 Tool을 호출하지 않으면 최종 Map과 이미지가 결과가 됩니다.

학습 단계에서는 먼저 Verifier를 통과한 궤적을 이용해 Full-Parameter SFT를 수행하고, 이후 Verified·Unverified Query를 함께 사용해 GRPO 기반 Multimodal RL을 진행합니다. Verified Query의 보상은 올바르게 수정된 Asset 비율이고 Unverified Query의 보상은 모든 조건 통과 여부에 따른 0 또는 1입니다. Unverified 결과는 먼저 Height와 Collision을 검사하고, 통과한 경우에만 의도 충족 Judge를 거치므로 물리적으로 불가능한 장면이 높은 의미 점수를 받아도 최종 성공이 되지 않습니다.

관련 Figure

Diagram
사용자 Query는 빈 장면 생성 또는 기존 3D 세계 수정의 형태로 입력됩니다. Agent는 Autonomous Planning 뒤 MCP Sandbox에서 Asset Retrieval·Editing·Rendering을 실행하고, 다중 시점 이미지와 텍스트 Map을 관찰·반성한 뒤 여러 턴의 상호작용을 거쳐 Interactive 3D World를 출력합니다. 아래에는 2,616개 Asset, 323개 Seed World, 6,828개 Query와 Dual-Constraint Verifier, SFT·Multimodal RL 학습 흐름이 함께 배치되어 있습니다.
VibeWorlding의 전체 구성과 VWE-Bench·VibeWorlding-Gym의 연결 구조를 나타낸 도식입니다.

Infographic
Asset은 Can과 Stool 같은 Small 객체부터 Tree, Shop, Castle 같은 Medium·Large 객체로 배열되어 있습니다. Seed World는 Countryside의 18개 Asset, City street의 44개 Asset, Snowy town의 241개 Asset처럼 장면 규모가 증가하는 예를 보여줍니다. 이는 Benchmark가 단일 객체 검색뿐 아니라 서로 다른 수와 크기의 Asset을 조합하는 세계 구성 문제를 포함한다는 점을 뒷받침합니다.
VWE-Bench의 3D Asset과 Seed World를 크기 및 복잡도 순서로 비교한 예시입니다.

주요 결과

Frontier MLLM도 End-to-End 3D 세계 구성에는 큰 공백을 보였습니다. GPT-5.5의 전체 Pass@1은 57.3%, Qwen3.8-Max는 56.9%였으며, Qwen3-VL-8B와 Qwen3-VL-30B-A3B Base Model은 각각 5.3%와 13.6%에 그쳤습니다. VibeWorlder-30B-A3B는 SFT 후 34.5%에서 RL 후 59.3%로 상승했고, VibeWorlder-8B는 RL 후 41.4%를 기록해 Gemini 3.1-pro의 42.7%와 비슷한 수준에 도달했습니다.

RL의 효과는 능력별로 달랐습니다. 3D Reasoning은 Base Backbone의 6–20% 수준에서 RL 후 56–85%로 상승했고 VibeWorlder-30B-A3B는 85%를 기록했으며, Retrieval Usage는 91–99%, 3D Understanding은 90–98%, Ecological Plausibility는 84–94%까지 높아졌습니다. 반면 Collision 점수는 RL 이후에도 59–68%에 머물러 가장 취약한 항목으로 남았습니다.

Verified Query에서는 Ground-Truth 기반 보상이 0.14에서 0.64로 비교적 안정적으로 상승했지만, MLLM Judge를 사용하는 Unverified Query의 보상은 0.04에서 0.37로 오르면서 변동성이 컸습니다. 자동 Verifier와 사람 평가의 전체 Pass@1 일치율은 83.4%였고, 시스템 순위에서 Verifier 보상과 사람의 의도 충족률 간 Spearman’s ρ는 0.88이었습니다. 이는 정답을 계산할 수 있는 편집 작업에서 RL 신호가 더 정밀하게 작동하고, 개방형 요청에서는 Judge의 신뢰도가 학습 효과를 제한한다는 결과입니다.

관련 Figure

Chart
Verified 그래프에서는 GPT-5.5가 약 60% 수준이고 VibeWorlder-30B-A3B가 약 64%로 가장 높으며, Qwen3-VL-8B는 한 자릿수에 머뭅니다. Unverified 그래프에서도 GPT-5.5와 Qwen3.8-Max가 50%대이고 VibeWorlder-30B-A3B가 가장 높은 50%대 후반을 기록합니다. 두 그래프는 RL Post-Training을 거친 VibeWorlder가 Base Open Model보다 크게 높아지고, 정밀 편집이 필요한 Verified 작업에서 특히 강점을 보인다는 결과를 시각화합니다.
Verified와 Unverified VWE-Bench에서 여러 MLLM의 Pass@1을 비교한 막대그래프입니다.

기술 상세

3D Asset은 id, name, category, face_count, bbox로 구성되고, 3D World는 각 Asset의 pos[x,y,z], rot[x,y,z], sca를 포함한 집합으로 표현됩니다. 텍스트 Map은 각 객체의 상세 위치를 기록하고 이미지 표현은 Front, Back, Left, Right, Top-down 다섯 시점의 Rendering으로 구성됩니다. 이 두 표현을 함께 제공하면 Agent가 좌표 기반 상태와 시각적 장면을 교차 확인할 수 있습니다.

Sandbox의 다섯 원자 도구는 Retrieval, Add, Delete, Rotate, Translate입니다. Retrieval은 자연어 의도를 배치 가능한 Asset 후보로 변환하고, Retriever는 Asset Library의 type_id 체계와 공유되므로 반환 후보가 실제로 배치될 수 있습니다. Blender는 매 편집 턴 뒤 다섯 장의 1280 × 720 이미지를 생성해 다음 관찰에 포함합니다. 논문 구현에서는 8B Model을 NVIDIA H20 GPU 8개가 있는 단일 노드에서 학습했고, 30B-A3B Model은 세 GPU 노드에서 학습했습니다.

Verifier는 두 층으로 작동합니다. Height 검사는 Asset이 지형이나 유효한 표면에 지지되는지 확인하고, Collision 검사는 객체가 서로 겹치거나 관통하지 않는지 계산합니다. 이후 MLLM Judge가 장면 전체의 Ecological Plausibility, Query와 장면의 3D Understanding, 좌표와 Tool 사용을 포함한 3D Reasoning, 초기 Asset 선택의 Retrieval Plausibility를 판정합니다. 사람 평가와 비교했을 때 Ecological Plausibility의 Cohen’s κ는 0.54, Intent Fulfillment의 κ는 0.53이었습니다.

학습은 Cold-start SFT와 GRPO 기반 RL로 나뉩니다. SFT는 2 epochs, 최대 시퀀스 길이 122,880 tokens, learning rate 2 × 10⁻⁵를 사용했고, RL은 1 epoch, learning rate 5 × 10⁻⁷, KL coefficient 0.05, rollout group size 8로 진행했습니다. SFT가 Tool Use와 장면 이해의 기반을 만들면 RL이 실제 보상에 따라 공간 실행을 교정하는 구조이며, 결과적으로 3D Understanding은 0.17에서 0.80으로, 3D Reasoning은 0.04에서 0.69로 상승했습니다.

한계점

현재 Sandbox는 Retrieval, Add, Delete, Translate, Rotate 같은 원자적 도구만 제공하므로 축구장 생성이나 직사각형 영역에 나무를 자동 배치하는 고수준 조합 기능이 없습니다. VWE-Bench의 가장 복잡한 장면도 258개 Asset 규모이며, Asset Library가 Cartoon Art Style에 제한되어 있습니다. 데이터는 Tencent의 내부 Crowdsourcing Pipeline으로 구축되었고, Image-to-3D-world나 Video-to-3D-world 같은 입력 형식은 포함하지 않습니다.

장시간 3D 구성 전체를 하나의 Outcome Reward로 평가하기 때문에 특정 턴의 Collision 같은 실패 원인에 직접 보상을 배분하기 어렵습니다. 또한 Rendering은 매 턴 시각 피드백을 만들기 때문에 평가와 RL 데이터 확장의 속도를 제한합니다. Rubric 기반 Verifier는 VWE-Bench 안에서는 사람 평가와 높은 순위 일치를 보였지만, 미리 정답을 정하기 어려운 개방형 장면의 미학·일관성·전반적 타당성을 모두 자동 평가하는 데에는 한계가 있습니다.

관련 Figure

Diagram
첫 사례에서 Agent는 rock 18을 7m 이동시키지만 ‘forward’ 방향을 반대로 해 실제 위치가 기대 위치와 14m 차이 납니다. 두 번째 사례에서는 chest 옆에 나무를 추가하라는 요청을 수행하면서 기존의 큰 나무까지 삭제해 Overediting을 일으킵니다. 두 장면은 Asset을 찾고 사용자 의도를 읽는 능력과 별개로 좌표계 해석, 공간 편집, 변경하지 않은 객체의 보존이 병목임을 보여줍니다.
Frontier Agent의 방향 반전 편집과 요청하지 않은 Asset 삭제 실패를 나타낸 사례입니다.

실무 활용

VibeWorlding-Gym은 자연어로 3D 장면을 만들거나 기존 장면을 수정하는 Agent를 학습·평가할 때 사용할 수 있는 공개 환경입니다. Asset 검색과 편집, Blender Rendering, 물리 검사, 의도 충족 평가가 하나의 흐름으로 연결되어 있어 Tool Use와 Multimodal RL을 같은 장면에서 반복 실험할 수 있습니다. 논문은 Code와 Model, Dataset을 공개해 연구자가 자체 Agent Scaffold나 Post-Training 변형을 비교할 수 있도록 했습니다.

자연어 설명으로 게임·시뮬레이션용 3D Seed World를 구성하는 Multimodal Agent 평가
기존 3D 장면에서 특정 Asset만 추가·삭제·이동·회전하는 정밀 편집 모델 학습
MCP 기반 3D Tool Use와 Blender Rendering을 포함한 Multi-turn Agentic RL 실험
Collision, Height, 사용자 의도 충족을 함께 확인하는 3D 세계 생성 Benchmark 구축

코드 공개 여부: 공개

코드 저장소 보기

관련 Figure

Screenshot
첫 화면에서 Agent는 자동차와 두 개의 녹색 건물을 삭제하라는 요청을 읽고 현재 Map에서 나무, 고층 건물, 군사 건물, 가로등의 상태를 열거합니다. 다음 화면에서는 세 번의 Delete Tool Call을 실행한 뒤 여러 시점으로 다시 Rendering해 요청된 객체만 제거됐는지 확인합니다. 장면 Asset 수는 14개에서 11개로 줄어들며, 이 Render-in-the-loop 절차가 학습과 실제 CLI 사용 양쪽에 적용됩니다.
VibeWorlding CLI와 브라우저 기반 3D Viewer가 연결된 다중 턴 수정 세션입니다.

키워드

Multimodal Agent(멀티모달 에이전트)3D World Generation(3D 세계 생성)VibeWorldingVWE-BenchMCP Tools(MCP 도구)Rubric-based Verifier(루브릭 기반 검증기)Multimodal RL(멀티모달 강화학습)MLLM(멀티모달 대규모 언어 모델)VibeWorlder

용어 해설

멀티모달 에이전트(Multimodal Agent): — 텍스트와 이미지 같은 여러 입력을 함께 처리하면서 계획을 세우고 외부 도구를 호출하는 AI 시스템입니다. 이 논문에서는 사용자 요청과 3D 맵·렌더링 이미지를 읽고 3D 세계를 여러 턴에 걸쳐 구성하거나 수정하는 역할을 맡습니다.
MCP 도구(MCP Tools): — 에이전트가 외부 환경의 기능을 일관된 인터페이스로 호출하도록 연결하는 도구 체계입니다. VibeWorlding-Gym에서는 asset retrieval, 편집, Rendering 기능을 하나의 Sandbox 안에서 실행해 에이전트의 입력을 실제 3D 세계 변화로 변환합니다.
GRPO: — 여러 개의 생성 결과를 한 그룹으로 비교해 정책을 업데이트하는 강화학습 방법입니다. 이 논문에서는 3D 세계 구성 Trajectory에 대해 Verifier가 산출한 결과 보상을 사용하며, Verified Query에는 수정 자산 비율을, Unverified Query에는 0 또는 1의 보상을 적용합니다.
충돌 감지(Collision Detection): — 3D 객체의 기하학적 겹침이나 관통 여부를 계산하는 검사입니다. VibeWorlding의 Verifier는 각 Asset의 공간 정보를 이용해 객체 간 Collision을 확인하고, 충돌이 발생한 세계를 사용자 의도를 충족했더라도 유효한 결과로 인정하지 않습니다.
Pass@1: — 한 번의 생성 시도만으로 Query를 통과한 비율을 나타내는 평가 지표입니다. Unverified Query는 물리적 타당성과 네 가지 의도 충족 항목을 모두 통과해야 하며, Verified Query는 올바르게 수정된 Asset 비율을 평균해 계산합니다.

멀티모달 에이전트의 3D 오픈 월드 구성

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

Hunyuan3D-Buffalo 1.0

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

Hunyuan3D-Buffalo 1.0