WorldFlow3D: 무한한 세계 생성을 위한 3D 분포 흐름 제어

기존 3D 생성 모델은 특정 크기의 영역에 갇혀 있거나 복잡한 압축 과정으로 인해 세부 묘사가 뭉개지는 한계가 있었다. 이 논문은 압축 과정 없이 데이터 분포 간의 흐름을 직접 계산하는 방식을 도입하여, 도시 규모의 실외 환경이나 복잡한 실내 공간을 경계 없이 무한히 확장하며 생성할 수 있는 기술적 토대를 마련했다.

기존의 3D 생성은 주로 Diffusion 모델을 사용해 노이즈에서 이미지를 복원하듯 구조를 찾아갔다. 하지만 3D 데이터는 용량이 매우 커서 보통 '잠재 공간(Latent Space)'으로 압축해 학습하는데, 이 과정에서 미세한 기하학적 디테일이 사라지거나 복원 시 오차가 발생하는 고질적인 문제가 있었다.

WorldFlow3D는 이 압축 과정을 과감히 생략하고 'Flow Matching' 개념을 3D에 직접 적용한다. 이는 단순히 노이즈를 닦아내는 것이 아니라, 단순한 형태의 분포에서 복잡한 실제 데이터 분포로 점진적으로 변해가는 '최적의 길(Path)'을 학습하는 방식이다. 특히 낮은 해상도의 거친 구조에서 높은 해상도의 세밀한 구조로 넘어가는 과정을 계층적으로 설계하여 데이터의 복잡도를 효과적으로 관리한다.

결과적으로 모델은 각 단계에서 다음 단계의 정교한 상태로 넘어가기 위한 '속도(Velocity)'를 예측하게 된다. 이 접근법은 기존 방식보다 학습 시간을 절반 이하로 줄이면서도, 사용자가 입력한 도로망이나 방 구조 레이아웃에 맞춰 훨씬 넓고 정교한 가상 세계를 만드는 것을 가능하게 한다.

Hierarchical Flow Matching 아키텍처를 사용하여 생성 과정을 여러 단계로 구분한다. 첫 단계는 가우시안 노이즈에서 거친 3D 기하 구조(Coarse Geometry)를 생성하며, 이후 단계는 이전 단계의 출력을 입력으로 받아 더 세밀한 구조와 텍스처를 덧붙이는 순차적 흐름을 따른다.

3D 표현형으로 Truncated Unsigned Distance Fields(TUDFs)를 채택했다. [복셀 그리드 내 각 지점에서 가장 가까운 표면까지의 거리를 입력으로] → [0에서 특정 임계값 사이로 절단(Truncate)하는 연산을 수행해] → [표면 근처의 정보만 집중적으로 담은 텐서를 얻고] → [이를 통해 복잡한 압축 없이도 고해상도 3D 학습을 효율적으로 수행한다].

무한한 공간 생성을 위해 Chunk-Aware Velocity Averaging 기법을 도입했다. [전체 장면을 겹치는 작은 청크들로 나누어 입력으로] → [각 청크별로 독립적인 속도 벡터 필드를 계산한 뒤 중심부 가중치가 높은 선형 함수로 평균을 내어] → [연속적인 전체 속도 필드를 얻고] → [청크 간 경계선 아티팩트 없이 매끄럽게 연결된 거대 지형을 생성한다].

벡터화된 레이아웃(Vectorized Layout) 조건을 통해 제어력을 확보했다. [도로 경계나 방 구조를 나타내는 폴리라인을 입력으로] → [학습 시점에 즉석에서 복셀화하여 모델에 주입하는 연산을 거쳐] → [해상도에 구애받지 않는 일관된 구조 제어 신호를 생성하고] → [사용자가 의도한 대로 건물이나 도로의 배치를 정밀하게 조절한다].

Waymo Open Dataset(실외)과 3D-FRONT(실내) 데이터셋 실험에서 기존 SOTA 모델인 XCube, LidarDM 등을 모든 지표에서 앞섰다. 특히 Waymo 데이터셋의 무조건부 생성 실험에서 COV(Coverage) 점수가 기존 대비 크게 향상되었으며, FDC(Distributional Distance) 수치는 낮아져 실제 데이터와 가장 유사한 고품질 장면을 생성함을 입증했다.

Ablation Study를 통해 Latent 기반 방식보다 Latent-free 방식이 기하학적 정확도와 텍스처 품질 면에서 우수함을 확인했다. 또한 계층적 구조를 사용하지 않고 노이즈에서 바로 고해상도를 생성하려 할 경우 노이즈가 심해지는 현상을 발견하여, 단계별로 디테일을 더해가는 계층적 접근의 필요성을 증명했다.

학습 효율성 측면에서 WorldFlow3D는 기존 방식 대비 2배 이상의 속도 향상을 기록했다. 기존 모델들이 완전한 수렴에 며칠씩 소요되는 것과 달리, 본 모델은 12시간 내외의 학습만으로도 고품질의 세부 묘사가 가능한 수준에 도달했다.

전체 시스템은 3D UNet 기반의 속도 필드 예측기 $f_{ heta,i}$들의 집합으로 구성된다. 각 단계의 UNet은 Residual Block과 Self-Attention 레이어를 포함하며, 이전 단계의 구조 정보와 현재 단계의 레이아웃 조건을 채널 방향으로 결합(Concatenate)하여 입력으로 사용한다.

Flow Matching 손실 함수는 Rectified Flow 목적 함수를 사용하여 학습된다. [시간 $t$, 소스 샘플 $x_0$, 타겟 샘플 $x_i$를 입력으로] → [선형 보간을 통해 중간 상태 $x_t$를 만들고 모델이 예측한 속도와 실제 차이의 L2 노름을 계산해] → [최적의 이동 경로를 학습하고] → [추론 시 Euler 적분을 통해 효율적으로 샘플링을 수행한다].

제어 신호 주입을 위해 FiLM(Feature-wise Linear Modulation) 컨디셔닝을 적용했다. [타임스텝 $t$와 레이아웃 요약 정보를 입력으로] → [작은 인코더 네트워크를 통해 스케일과 시프트 파라미터를 계산해] → [UNet 내부의 각 Residual Block 특징 맵에 적용함으로써] → [전역적인 환경 스타일과 국소적인 구조 제어를 동시에 달성한다].