WorldFlow3D: 무한한 3D 월드 생성을 위한 3D 분포 흐름 제어

기존 3D 생성 모델은 특정 크기에 갇혀 있거나 복잡한 압축 과정이 필요해 실시간 확장이 어려웠다. 이 논문은 흐름 매칭 기법을 활용해 데이터 분포 사이를 직접 연결함으로써, 경계 없는 광활한 3D 환경을 고화질로 빠르게 생성하는 새로운 방법론을 제시한다.

기존의 3D 생성은 주로 Latent Diffusion 방식을 사용한다. 이는 고차원 3D 데이터를 작은 잠재 공간(Embedding)으로 압축한 뒤 노이즈를 제거하며 복원하는 방식인데, 압축 과정에서 세밀한 기하학적 정보가 손실되거나 생성 가능한 공간의 크기가 고정되는 한계가 존재한다.

WorldFlow3D는 흐름 매칭(Flow Matching) 개념을 3D에 도입하여 이 문제를 해결한다. 이는 단순히 노이즈를 제거하는 것이 아니라, 노이즈 분포에서 거친 구조 분포를 거쳐 세밀한 텍스처 분포로 이어지는 최적의 이동 경로(Velocity Field)를 직접 학습하는 방식이다. 이를 통해 압축 과정 없이 원본 볼륨 데이터에서 직접 형태를 잡아나간다.

특히 계층적 구조를 채택하여 먼저 전체적인 지형지물 레이아웃을 잡고 그 위에 세부 디테일을 얹는 식으로 작동한다. 이 과정에서 각 단계의 흐름은 독립적으로 학습되므로 연산 효율이 높고, 인접한 구역의 흐름을 평균 내어 연결함으로써 끊김 없는 무한한 공간 확장이 가능해진다.

계층적 흐름 매칭(Hierarchical Flow Matching) 아키텍처를 기반으로 한다. 가우시안 노이즈 $p_0$에서 시작해 거친 기하 구조 $p_1$, 정밀 구조 $p_2$, 최종 외형 $p_i$로 이어지는 순차적 분포 전이를 모델링한다. 각 단계는 독립적인 속도 필드 $f_{ heta,i}$를 학습하며, 이전 단계의 출력을 입력으로 받아 해상도를 높이거나 속성을 추가하는 방식으로 구성된다.

3D 표현형으로는 Truncated Unsigned Distance Fields(TUDFs)를 채택했다. [복셀 좌표 입력] → [가장 가까운 표면까지의 거리 계산] → [임계값 $au$로 절단된 거리값 출력] 과정을 거치며, 이는 복잡한 메쉬보다 볼륨 데이터 처리에 적합하여 오토인코더 없는 직접 생성을 가능하게 한다. 수식적으로는 Rectified Flow 목적 함수를 사용하여 [시간 $t$, 이전 단계 샘플 $x_{i-1}$, 목표 샘플 $x_i$ 입력] → [두 지점 사이의 차이($x_i - x_{i-1}$)를 타겟으로 회귀 연산] → [최적의 이동 속도 벡터 산출] 과정을 통해 데이터 분포 간의 효율적인 전이 경로를 정의한다.

무한 생성을 위해 Chunk-Aware Velocity Averaging 기법을 적용했다. 전체 씬을 겹치는 청크로 나누고, 각 청크의 속도 벡터를 중심부에서 1, 경계부에서 0에 가까운 가중치로 가중 평균하여 통합된 속도 필드를 산출한다. 이를 통해 청크 간 경계선 없이 매끄러운 지형 연결을 구현했다.

제어 메커니즘은 벡터 레이아웃 $c_L$과 속성 $c_A$를 기반으로 한다. [벡터 형태의 도로/건물 경계 입력] → [온더플라이 복셀화] → [UNet의 채널별 결합] 과정을 통해 모델이 지형 구조를 엄격히 따르도록 유도하며, FiLM 레이어를 통해 시간대나 날씨 같은 전역 속성을 주입한다.

Waymo Open Dataset을 이용한 실외 주행 환경 생성 실험에서 기존 SOTA 모델인 XCube, LidarDM 등을 능가했다. 특히 무조건부 생성 시 COV(Coverage) 지표에서 기존 대비 약 20% 향상된 성능을 보였으며, FDC 점수에서도 가장 낮은 수치를 기록해 실제 데이터 분포와 가장 유사한 생성이 가능함을 입증했다.

3D-FRONT 데이터셋 기반 실내 씬 생성에서도 우수한 성능을 나타냈다. MMD와 JSD 지표에서 경쟁 모델인 BlockFusion이나 WorldGrow보다 정밀한 기하 구조 생성을 확인했으며, 특히 매끄러운 벽면과 가구 배치의 일관성이 높게 나타났다.

학습 효율성 면에서 괄목할만한 성과를 거두었다. 기존 Latent 기반 방식들이 수일 이상의 학습 시간을 요구하는 반면, WorldFlow3D는 2개의 NVIDIA H100 GPU에서 단 하루 만에 수렴했다. 이는 오토인코더 학습 단계를 생략하고 직접적인 Flow Matching을 수행한 결과로, 기존 대비 2배 이상의 학습 효율성을 확보했다.

전체 시스템은 3D UNet 기반의 속도 예측 모델들로 구성된다. 각 단계의 UNet은 잔차 블록과 멀티 스케일 셀프 어텐션을 포함하며, 이전 단계의 볼륨 데이터와 현재 단계의 레이아웃 조건을 채널 방향으로 결합하여 입력받는다. 이는 모델이 이전 단계의 구조적 맥락을 유지하면서 세부 사항을 추가하도록 돕는다.

수학적으로는 Rectified Flow 목적 함수를 사용하여 $x_t = t x_i + (1-t) x_{i-1}$ 형태의 선형 경로를 학습한다. [시간 $t$와 샘플 $x_t$ 입력] → [네트워크 $f_\theta$ 연산] → [속도 벡터 $v_t$ 출력] 과정을 통해 두 데이터 분포 사이의 최단 직선 경로를 예측하며, 이는 확산 모델의 복잡한 노이즈 스케줄링보다 직관적이고 빠른 수렴을 가능하게 한다.

해상도 독립적인 제어를 위해 벡터 레이아웃을 실시간으로 복셀화하여 주입한다. 각 채널은 도로 경계, 건물 영역 등 특정 시맨틱 클래스를 인코딩하며, 이는 생성 모델이 공간적 제약 조건을 물리적으로 이해하도록 돕는 강력한 Prior 역할을 수행한다.

구현 측면에서는 AdamW 옵티마이저와 $2 \times 10^{-6}$의 학습률을 사용했다. 최하위 계층 모델은 24시간, 상위 디테일 모델들은 각각 12시간씩 학습하여 전체 파이프라인을 완성했으며, 추론 시에는 표준 오일러 적분을 통해 궤적을 따라 샘플링을 수행하여 최종 3D 볼륨을 도출한다.

현재 모델은 이산화된 복셀 그리드(TUDF)를 기반으로 하므로, 매우 얇은 구조물이나 복잡한 위상 변화를 표현하는 데 해상도 한계가 있을 수 있다. 또한 실시간 인터랙티브 생성보다는 고품질 정적 월드 생성에 최적화되어 있다.