PixWorld: 픽셀 공간에서 3D 장면 생성과 재구성의 통합

3D 장면 생성과 재구성은 각각 다른 목표와 손실 설계 때문에 별도의 파이프라인으로 발전해 왔으며, 중간 잠재공간을 사용하는 기존 통합 시도는 정보 손실과 별도 사전학습 비용을 초래했다. PixWorld는 확산 과정을 픽셀 공간으로 옮겨 렌더된 이미지에 직접 감독 신호를 투사함으로써 3D 표현 자체를 end-to-end로 최적화할 수 있게 만들었다. 이 방식은 재구성에 필수적인 충실도 문제를 개선하면서 동시에 생성 분기에도 3D 기하학적 제약을 직접 전달할 수 있어 실용적 통합 방안으로 의미가 있다.

기존 3D 생성과 재구성 접근은 서로 다른 손실 도메인과 표현을 사용해 왔고, 특히 latent-space diffusion은 확산 대상과 최종 렌더 출력 사이에 autoencoder라는 중간층을 삽입해 정보 손실을 발생시켰다. PixWorld의 출발점은 확산 변수와 렌더링 결과를 동일한 RGB 도메인에 두어 이 불일치를 제거하는 것이다. 이렇게 하면 확산 신호가 최종 3D 표현을 직접적으로 조정하는 방향으로 최적화될 수 있다. PixWorld는 멀티뷰 입력을 clean과 noisy로 분리해 clean은 재구성 앵커로, noisy는 생성 대상으로 사용하는 두 스트림 구조를 채택했다. 두 스트림은 공용 DiT 블록으로 결합되어 뷰 간 정보를 교환하고, 각 픽셀의 예측 깊이를 이용해 픽셀-정렬 3D Gaussian들을 역투사한다. 이 과정을 통해 동일한 네트워크가 관측 기반 재구성과 확산 기반 생성 두 작업을 하나의 파라미터 공간에서 학습할 수 있다. 픽셀-스페이스 flow-matching 손실은 노이즈-타임 매개변수 t에 따라 예측 이미지의 속도 필드를 직접 비교하도록 설계되어, 렌더링 분기에서의 픽셀 오류가 확산 복원 동작으로 곧바로 반영되게 만든다. 여기에 LPIPS와 클린뷰 MSE를 결합해 지각적 품질과 재구성 안정성을 확보했다. 마지막으로 geometry perception loss를 추가해 2D 기반 손실이 놓치기 쉬운 기하학적 불일치를 사전학습된 3D 특징공간에서 억제함으로써 3D 충실도를 강화했다.

전체 접근은 픽셀 공간에서의 확산 예측을 멀티뷰 설정으로 확장하고 clean/noisy 분할을 통해 두 과업을 노출시키는 것이다. 입력 이미지는 noisy 타임스텝에 따라 섞여서 모델로 들어가며, DiT 기반 트랜스포머가 두 스트림을 공유 블록에서 처리해 깊이 맵과 픽셀-정렬 3D Gaussian 속성을 출력한다. 이 3D 표현은 differentiable renderer로 다시 이미지화되어 픽셀 레벨의 흐름 매칭 손실과 재구성 손실을 산출한다. 핵심 메커니즘은 픽셀-스페이스 flow matching으로, 예측 이미지와 타깃 이미지 간 속도 v=(x-ε)를 타임 스케일 (1-t)로 정규화해 L2로 비교한다. 이 손실은 ℒ_FM = E[||hat{v}-v||^2] 형태로 기술되며, 렌더드 이미지에 동일한 정의를 적용해 3D 표현을 직접 최적화한다. clean 뷰에는 직접 MSE 재구성 항을 적용하고, t가 충분히 큰 경우에 한해 LPIPS를 추가로 활성화해 지각적 일치성을 보강한다. 기하학 인식 손실은 고정된 3D 파운데이션 모델 Ψ로부터 얻은 멀티뷰 기하학 특성 맵을 사용해 렌더드와 레퍼런스 특성의 위치별 코사인 거리를 계산한다. ℒ_geo는 t>t_th인 경우에만 적용되어 노이즈가 심한 단계의 불안정한 특징 일치를 피하고, Ψ는 고정되어 렌더드 분기만 역전파되는 구조로 설정되었다. 최종 목적함수는 ℒ_render + λ_depth ℒ_depth + λ_geo ℒ_geo의 합으로 구성되어 깊이 감독과 구조적 일관성을 동시에 확보한다.

논문은 RealEstate10K, DL3DV, WorldScore 데이터셋에서 PixWorld를 평가했고, 보고된 결과에서 PixWorld가 기존 잠재공간 기반 생성 방법들을 일관되게 능가했다고 기술되었다. 또한 PixWorld는 재구성 측면에서 최신의 재구성 방법들과 유사한 수준의 성능을 달성해 생성과 재구성을 단일 모델로 처리하는 것이 실효성이 있음을 보였다. 추가 실험에서 clean/noisy 분할과 geometry perception loss가 품질 및 기하학적 충실도에 기여함이 확인되었다. 제거된 VAE/RAE 단계와 픽셀-스페이스 FM 렌더링의 조합이 재구성에서의 정보 손실을 줄였고, 노이즈화된 뷰를 복원하는 능력이 향상되었다는 정성적·정량적 근거가 제시되었다. 논문은 또한 t 임계값을 둔 LPIPS 및 ℒ_geo 활성화가 너무 노이즈가 큰 단계에서의 불안정성을 완화했다고 보고했다. Ablation 구성에서 geometry perception loss의 추가가 3D 구조적 일관성을 유의미하게 개선했다는 관찰이 포함되었다.

전체 아키텍처는 입력 임베딩(클린/노이즈 스트림), 공용 DiT 블록, 깊이 헤드 및 3DGS(픽셀 정렬 3D Gaussian) 디코더로 구성된다. 카메라 파라미터는 PRoPE 방식을 통해 주입되고, 텍스트 조건은 cross-attention으로 통합되어 선택적 조건부 생성을 지원한다. 예측된 각 픽셀의 깊이는 역투사 연산 Π^{-1}(p, hat{d}, T)로 3D Gaussian의 중심 μ를 생성하는 데 사용되며, 이들 Gaussian 속성은 장면 레벨 3D 표현으로 집계된다. 렌더링은 differentiable renderer ℛ를 사용해 3DGS로부터 다중 뷰 이미지를 합성하고, 합성된 이미지와 관측 이미지 간의 flow-matching 속도 필드 v=(I-ε)를 (1-t)로 정규화한 형태로 L2를 계산한다. clean 뷰는 직접 MSE 재구성 항으로 감독되며 noisy 뷰는 FM 항으로 감독된다. 또한 t>t_th인 경우 LPIPS 기반 지각 손실을 추가해 고수준 시각 품질을 보강하고, 학습 중에 샘플링된 추가 novel views에 대해 MSE와 LPIPS를 적용해 모든 시점에서의 렌더 품질을 정규화한다. 깊이 감독은 DA3로부터 얻은 의사-깊이 라벨 D^{star}를 로그 차이에 대해 Huber 형태의 ρ로 비교하는 ℒ_depth로 구현되며, 이 항은 예측 깊이의 발산을 억제한다. geometry perception loss는 고정된 3D 파운데이션 모델 Ψ로부터 얻은 다중뷰 기하학 특징 맵을 이용해 위치별 코사인 거리를 평균화한 ℒ_geo로 정의되고, 이 항은 t>t_th에서만 활성화되어 불안정한 단계의 특징 매칭을 피한다. 전체 손실은 ℒ_render + λ_depth ℒ_depth + λ_geo ℒ_geo로 조합되어 최종 학습 신호를 형성한다.

논문은 픽셀-스페이스 감독이 2D 광도 기반 손실들이 가지는 기하학적 불안정성을 완전히 제거하지 못할 수 있음을 명시하고, 이를 보완하기 위해 geometry perception loss를 도입했다. geometry perception loss 자체는 노이즈가 너무 큰 타임스텝에서는 불안정하여 t>t_th에서만 활성화하도록 설계되었다는 제약이 존재한다. 또한 VAE/RAE를 제거함으로써 픽셀-스페이스 모델이 필요로 하는 용량과 데이터 요구량이 증가할 수 있으며, 대규모 학습 자원이 없는 환경에서는 적용이 제한적일 가능성이 있다.