FLUX3D: Diffusion-Aligned Sparse Representation 기반 고충실도 3D Gaussian 생성

단일 이미지에서 사실적 3D 자산을 자동 생성할 때 텍스처의 고주파 정보(글자, 로고, 섬세한 질감)가 쉽게 손실된다. FLUX3D는 diffusion으로 학습된 2D 특성과 희소-구조 인식 diffusion 모델을 결합해 입력 이미지의 미세한 외형을 더 잘 보존하는 3D Gaussian Splatting 자산을 생성한다.

문제 출발점과 기존 한계: 이미지→3DGS 과제는 입력 이미지의 세부 외형(고주파 텍스처)을 3차원 표현에 보존해야 한다. 기존 sparse-voxel 기반 파이프라인은 2D에서 추출한 discriminative feature(DINOv2 등)를 사용하거나 encoder-decoder로 강하게 압축해 구조적·정보적 병목을 유발해 텍스처가 흐려지는 문제가 발생했다. 또 diffusion transformer들은 dense 토큰과 희소 토큰을 동일하게 취급해 2D-3D 대응 학습이 비효율적이었다.

전체 접근과 핵심 아이디어: FLUX3D는 두 단계로 구성된다. 첫째, multiview 렌더링에서 FLUX diffusion encoder로 추출한 reconstructive 특성들을 sparse voxel 데이터 구조에 집계해 Diffusion-Aligned Structured Latents(DA-SLAT)를 만든다. 둘째, 이 structured latent를 조건으로 Sparse-structure Multimodal Diffusion Transformer(SMDiT)를 CFM(Conditional Flow Matching)으로 학습해 3D voxel feature 분포를 생성하고, sparse transformer 기반 decoder-only 모듈이 voxel별 feature를 3D Gaussian 파라미터로 디코딩한다.

메인 벤치마크(이미지 조건 3DGS 생성): Toys4k에서 이미지-조건 생성 성능을 Table 3 기준으로 보고했다. Ours (Dec-Only)은 SSIM 0.9653, PSNR 26.26, LPIPS 0.03509, CLIP 98.37, FD_incep 8.73, KD_incep 0.039을 기록해 비교 대상(LGM, GeoLRM, GaussianAnything, DiffusionGS, TRELLIS)보다 우수한 수치를 보였다. 재구성 상한 평가: Table 1에서 Ours (Dec-Only)는 재구성 실험에서 SSIM 0.9783, PSNR 34.12, LPIPS 0.02668로 다른 latent 대비 최고 성능을 보였다. Ablation 결과: Table 2는 입력 특성 비교에서 FLUX가 DINOv2(SSIM 0.9719)보다 우수(FLUX SSIM 0.9779, PSNR 33.80, LPIPS 0.02699)함을 보였고, Table 4·5의 구성요소 제거 실험에서 DA-SLAT·SMDiT·MARoPE가 순차적으로 성능 개선을 가져와 전체 구성에서 가장 낮은 FD·KD 값을 획득했다(예: DA-SLAT 제거 시 FD_incep 10.96 → 전체 8.73).

전체 아키텍처: 입력 이미지는 FLUX encoder로 토큰화되어 diffusion-aligned 2D 특성으로 변환된다. 여러 시점의 렌더링으로부터 추출한 2D 특성은 voxelization 및 feature aggregation을 통해 희소 voxel 데이터 구조 {(f_i, p_i)}{i=1}^{L}로 구성된다(여기서 L은 활성 voxel 수, L ≪ N^3). DA-SLAT는 이 structured latent를 그대로 decoder-only sparse transformer(𝓓{GS,flux3d})로 전달해 각 voxel을 K개의 3D Gaussian 파라미터 집합으로 디코딩한다.