왜 중요한가
대규모 탐험형 3D 세계를 텍스트에서 직접 생성하려면 전역 일관성, 지역 세부, 그리고 편집 가능한 인스턴스 표현을 동시에 만족시켜야 한다. WorldClaw는 전역 지형 기반을 먼저 구축하고, 필요 지역만 고해상도로 채우는 계층적 전략과 에이전트 주도 검증 루프를 결합해 이 요구를 현실적으로 충족한다. 이 접근은 게임·시뮬레이션·VR에서 즉시 재사용 가능한 편집 가능한 자산을 자동으로 생성할 수 있는 실무적 파이프라인을 제공한다.
핵심 기여
시맨틱 레이아웃 기반 전역 지형 생성기
사용자 의도를 색상으로 인코딩한 레이아웃 맵을 입력으로 받아 지역별 소프트 마스크와 파라미터를 조합해 연속적인 높이장을 합성한다. 잡음 성분과 지형 연산자(peak, dune, terrace 등)를 지역 가중치로 결합해 서로 다른 지형을 매끄럽게 연결한다. 결과 지형은 렌더 검사와 국소 편집으로 반복 정제할 수 있도록 중간 표현을 노출한다.
전역 제약을 지역 실행 계획으로 변환하는 파이프라인
텍스트 의도를 intent agent가 구조화된 장면 명세 P로 변환하고, 이를 terrain·asset·object 스키마로 세분화해 각 모듈의 실행 인터페이스로 사용한다. 이 구조는 전역 스케일과 지역 요구를 분리하여 전체 계산 비용을 제어하면서도 지역별 스타일·밀도·배치 제약을 정확히 이식한다. 외부 검색과 컨셉 이미지 호출로 불충분한 제약을 보완할 수 있다.
에이전트 기반 렌더-검사-수정 루프
Blender 연동과 렌더 기반 진단을 통해 지형 경계, 재질 스케일, 자산 분포, 객체-지형 접촉 문제를 자동으로 탐지하고 지역적으로 보정한다. 객체 품질 검사 시 SAM3D 재구성과 Hunyuan3D 조건 재생성을 결합해 텍스처와 메시를 개선하며 배치와 접촉은 현지 공동 변형(co-deformation)을 통해 정합시킨다. 반복은 검사 통과 또는 예산 소모 시 종료된다.
인스턴스별 편집 가능 텍스처 메시 표현
생성 파이프라인은 최종 산출물을 독립적으로 편집 가능한 텍스처화된 메시로 유지한다. 각 객체는 단일 인스턴스 메쉬와 외형 속성, 배치 변환을 보유해 게임 엔진 통합과 자산 재활용이 용이하다. 이 설계는 자유 관점 렌더링과 후속 편집 작업을 동시에 만족한다.
핵심 아이디어 이해하기
장면 전체를 한 번에 고해상도로 생성하는 대신 전역적 구조(지역 분할·지형 기반·시각적 스타일)를 먼저 고정하고, 세부가 필요한 지역만 선택적으로 고해상도로 실현하면 연산량과 불일치 위험을 줄일 수 있다. 이 방법은 텍스트에서 얻은 느슨한 제약을 구조화된 명세로 변환해 높이장 합성, 자산 프로토타입 생성, 지역별 구성 이미지 생성, 개별 객체 재구성·배치를 순차적으로 수행함으로써 전역 일관성과 지역 편집성을 동시에 확보한다. 에이전트는 렌더 검사와 도구 호출을 반복해 오류를 발견하고 국소적으로 보정하여 최종 품질을 담보한다.
방법론
입력 텍스트 q는 intent agent와 scene planner를 통해 구조화된 장면 명세 P로 변환된다(입력→처리). P에서 파생된 terrain 사양과 asset/ материал 요구사항은 레이아웃 맵, 자산 프로토타입, 재질 세트로 구체화된다(처리→중간자산). 높이장 합성식과 지역별 파라미터로 전역 지형 T를 생성하고, 프로토타입을 지역 마스크에 따라 산포한 뒤 렌더 기반 에이전트가 지역 편집을 수행해 정제된 지형을 얻는다(중간자산→출력). 완료된 지형을 바탕으로 대상 지역을 렌더해 composition 이미지를 만들고 SAM3/SAM3D·Hunyuan3D 체인으로 객체를 재구성·스케일 보정·지형 배치한 뒤, 다시 렌더 검사로 포즈·충돌·접촉을 반복 보정한다.
관련 Figure
이 다이어그램은 세 단계(의도 분석·전역 지형·지역 배치)와 각 단계에서 생성되는 중간 산물(레이아웃 맵, 자산 프로토타입, 텍스처, 인스턴스 메시)을 명시적으로 연결해 처리 흐름과 데이터 인터페이스를 파악하게 한다. 도식은 에이전트가 도구를 호출하고 렌더 결과로 피드백하는 루프를 강조해 구현 시점의 검사·수정 지점을 파악하는 데 유용하다.
논문 전체 파이프라인을 도식화한 그림으로, 입력 텍스트에서 의도 분석·전역 지형 생성·지역 객체 생성·렌더 기반 정제까지의 에이전트 주도 흐름을 단계별로 정리하고 있다.
높이장 합성식, 샘플러 설정, 재질 노드 등 구체적 구성요소를 시각적으로 제시해 각 서브모듈이 요구하는 입력과 조정 가능 변수를 확인할 수 있다. 구현자로서 terrain 파라미터 θ와 자산 샘플러 설정으로 실험 탐색 범위를 정의하기 쉬운 구성을 제공한다.
전역 지형 합성, 자산 산포, 지형 정제의 세부 모듈을 순서도와 코드·파라미터 예시로 설명한 그림이다.
객체별 보고 큐와 진단 렌더를 통해 포즈·메시 품질·스케일을 평가하고 필요시 Hunyuan3D로 재생성하거나 지형과 공동 변형을 수행하는 세부 루틴을 드러낸다. 이 그림은 자동화된 품질 확보 절차와 반복 예산 제약의 역할을 이해하게 해준다.
객체 정제와 지형 정제가 실행 대기열·진단 렌더·수정·재검사 루프로 연결되는 과정을 보여주는 도식이다.
주요 결과
정량적 벤치마크 대신 다양한 오픈엔드 프롬프트에 대한 정성적 사례를 제시해 전역 구조, 지역별 콘텐츠 밀도, 객체-지형 접촉 품질을 비교하였다. 비교 대상으로 SynCity, Marble, MajutsuCity, WorldGen, GPT-5.6 Sol 등을 사용해 지형 표현력과 인스턴스 편집성 측면에서 WorldClaw의 전역-지역 분리 설계가 더 다양한 지형 구성과 인스턴스 재사용성을 확보함을 보였다. 구현 세부로는 Claude Opus 4.8을 에이전트로 사용하고 GPT-Image-2·SAM3·SAM3D·Hunyuan3D를 조합했으며 렌더링과 정제는 Blender 5.1.1에서 수행하고 실험은 4×NVIDIA H20 GPU 상에서 진행되었다.
관련 Figure
다양한 시점에서의 인스턴스·깊이·노멀 이미지는 독립 메시와 지형 고도 분포가 보존되어 있음을 보여주며, 지역별 자산 배치가 지형 제약에 따라 달라지는 점을 시각적으로 입증한다. 워크뷰는 객체-지형 접촉과 스케일 정합의 검사 근거로 활용된다.
열대 섬(해적 거점) 사례의 전역 뷰와 지역·워킹 뷰 렌더, 인스턴스·깊이·노멀 렌더 결과를 포함한 시각적 예시이다.
연속 강 경로와 큰 고도 변화가 전역 지형에서 잘 표현되어 있으며, 지역 플래닝 단계가 강 연결성과 계곡 기능을 보존해 객체 배치 우선순위를 정한 흔적이 확인된다. 깊이 맵은 배치 결정과 접촉 보정 알고리즘의 입력으로 적합하다.
협곡(canyon) 사례의 전역 지도와 지역별 근접 샷 및 워크뷰와 함께 인스턴스·깊이·노멀 렌더를 제시한 이미지이다.
층층이 쌓인 암석 지형과 넓은 전투 공간이 공존하는 전역 설계가 확인되며, 자산 산포가 지역 특성(엄폐물·건물·차량)에 따라 달라지는 점을 보여준다. 인스턴스 렌더는 개별 오브젝트의 편집 가능성을 시사한다.
사막 전장(desert battlefield) 사례의 전역 구성, 지역 근접 뷰, 워크뷰 및 보조 렌더 결과들을 모아 놓은 이미지다.
산으로 둘러싸인 고립된 지형과 시설 배치가 서로 정합되며, 전역 지형이 지역별 기능(시설·도로·차량)을 유지한 채로 객체 배치를 허용하는 디자인임을 확인할 수 있다. 노멀 맵은 텍스처·조명 정제에서 유용한 진단 도구다.
눈 덮인 산골 밸리 사례의 전역 뷰·지역 샷·워크뷰와 함께 인스턴스·깊이·노멀 렌더를 제공하는 사례 이미지이다.
나란히 배치된 워크뷰는 지형 표현력, 지역 조직성, 인스턴스 편집성의 차이를 직관적으로 드러낸다. 이 비교는 WorldClaw의 전역-지역 분리 설계가 보다 다양한 지형 구성과 편집 가능한 인스턴스를 유지하는 근거로 제시되어 정성적 우위를 판단하는 데 도움을 준다.
WorldClaw와 동종의 텍스트 기반 3D 생성 방법들(SynCity, Marble, MajutsuCity 등)을 비교한 정성적 비교 이미지로, 각 기법의 워크뷰 4장씩을 나란히 배치해 차이를 보여준다.
기술 상세
시스템 구성은 세 단계로 구성된다: (1) 의도 분석 및 장면 계획으로 텍스트를 구조화된 명세 P로 변환한다. (2) 레이아웃 맵, 자산 프로토타입, 재질을 생성해 높이장 식 H(x)를 이용해 전역 지형 T를 합성하고 BlenderMCP 기반 렌더 검사로 로컬 정제를 반복한다. (3) 선택된 지역에서 지형 렌더를 입력으로 composition 이미지를 만들고 SAM3/SAM3D로 객체 분할·재구성 후 스케일 보정과 지형 투영으로 배치한다. 구현은 Claude Opus 4.8 에이전트와 GPT-Image-2·SAM3·SAM3D·Hunyuan3D 조합을 사용했고, 텍스처 해상도는 큰 객체에 2048×2048, 작은 객체에 1024×1024를 제공했으며 전체 파이프라인은 Blender 5.1.1에서 실행되고 4×NVIDIA H20 GPU로 실험을 수행했다.
한계점
WorldClaw는 여러 단계에서 외부 모델과 코드생성에 크게 의존하므로 하위 모델의 일반화 한계가 전체 품질을 제약한다. LLM이 생성하는 스크립트의 수치·노드 연결 오류는 즉시 지형 왜곡이나 재질 오류로 이어지며, 이를 보정하려면 반복 렌더-검사 루프가 필요해 비용이 상승한다. 또한 객체별 재구성·정제·접촉 보정을 순차적으로 수행하는 파이프라인은 객체 수와 반복 횟수에 따라 지연과 계산 비용이 급증해 대규모 장면에서 효율 문제가 발생한다.
실무 활용
WorldClaw는 텍스트로부터 편집 가능한 대규모 3D 월드를 생성해 게임 레벨 초안, 시뮬레이션 환경, 시각 프로토타입을 자동으로 마련하는 데 적합하다. 전역 지형과 인스턴스 메시를 별도로 관리하므로 후속 수정·재사용·엔진 이식이 용이하다.
- 게임 초기 레벨 디자인에서 대지·지역 배치 및 1차 자산 배치 자동화
- 로봇·자율주행 시뮬레이션용 다양하고 편집 가능한 환경 생성
- 시각 스토리보드·VR 콘텐츠의 프로토타이핑과 지역별 디테일 보완
코드 공개 여부: 미확인
키워드
용어 해설
- 시맨틱 레이아웃 맵(Semantic Layout Map)
- — 사용자 의도를 지역별 색상으로 변환한 2D 분할 지도이다. 지역 경계와 커버리지를 소프트 마스크로 표현하여 높이장(height-field) 생성, 재질 배치, 자산 산포의 공통 조건으로 사용되며 전역 일관성을 유지한다.
- 전역→지역 계층화(Global-to-Regional)
- — 먼저 전역적 제약과 지형 기반을 확립하고 이후 세부가 필요한 지역만 선택적으로 고해상도로 채우는 설계 원리이다. 계산·관리 비용을 줄이면서 전역 일관성과 지역별 세부 표현을 동시에 확보하는 데 활용된다.
- 에이전트 구동 파이프라인(Agentic Pipeline)
- — LLM 기반 에이전트가 계획·도구 호출·렌더 검사·수정 루프를 반복하는 실행 구조이다. 텍스트→구조화된 명세→툴 실행→시각 검사→수정의 순환으로 복잡한 3D 제작 작업을 자동화한다.
- 지역 가중 합성 높이장(Height Field)
- — 지역 소프트마스크와 기본 고도, 주파수별 잡음, 지형 연산자(peak, terrace 등)의 가중 합으로 전역 높이장을 계산하는 수식이다. 지역별 매개변수로 연속적이면서 구역별 차이를 표현한다.
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
