F4Splat: 피드포워드 3D 가우시안 스플래팅을 위한 피드포워드 예측 밀도화

기존의 실시간 3D 복원 기술은 가우시안을 모든 영역에 균일하게 배치하여 불필요한 연산 낭비가 심했습니다. 이 논문은 복잡한 영역에만 가우시안을 집중 배치하는 예측 모델을 통해, 훨씬 적은 메모리로도 고화질 3D 장면을 단 한 번의 연산으로 복원할 수 있게 합니다.

3D Gaussian Splatting(3DGS)은 수만 개의 가우시안 타원을 배치해 장면을 표현한다. 기존 방식은 이미지의 픽셀 하나당 가우시안 하나를 할당하거나 공간을 격자로 나눠 균일하게 배치했다. 이는 평평한 벽면처럼 단순한 곳에도 복잡한 물체와 동일한 양의 데이터를 낭비하게 만들어 효율성이 떨어지는 한계가 있었다. F4Splat은 딥러닝 모델이 직접 어느 부위에 가우시안이 더 많이 필요한가를 점수(Densification Score)로 예측하게 한다. 이는 마치 화가가 밑그림을 그릴 때 중요한 피사체 부분에만 붓질을 더 많이 하는 것과 같다. 모델은 여러 각도에서 찍은 사진들을 비교해 중복되는 정보는 줄이고, 세밀한 묘사가 필요한 경계선이나 질감 부위에 가우시안을 집중 배치한다. 결과적으로 사용자는 가우시안 10만 개만 써서 복원해달라고 요청하면, 모델이 실시간으로 최적의 임계값을 찾아 가장 효율적인 3D 모델을 생성한다. 이는 기존 대비 가우시안 개수를 최대 90%까지 줄이면서도 시각적 품질은 유지하거나 오히려 높이는 결과를 가져온다.

전체 구조는 Geometry Backbone, Gaussian Heads, Spatially Adaptive Allocation의 세 부분으로 구성된다. DINOv2 인코더를 통해 추출된 패치 토큰들을 프레임 간 및 글로벌 Self-attention 레이어에 통과시켜 기하학적 정보를 인코딩한다. Multi-scale Prediction 단계에서는 L개의 해상도 레벨에서 가우시안 파라미터 맵과 밀도화 점수 맵을 생성한다. 낮은 해상도는 넓은 범위를, 높은 해상도는 세밀한 부분을 담당한다. 공간 적응형 할당은 예측된 점수가 임계값보다 크면 더 높은 해상도의 가우시안을 선택하는 방식이다. 이 과정에서 중복 할당을 방지하기 위해 이진 마스크를 계산한다. 학습 시에는 실제 렌더링 손실(Rendering Loss)의 그래디언트 크기를 정답 밀도화 점수로 활용한다. 예측된 점수와 실제 그래디언트 기반 점수 두 값이 주어질 때 L1 손실을 계산하여 오차를 줄이는 방향으로 가중치를 갱신한다. 이를 통해 모델은 화질 개선에 기여도가 높은 영역을 스스로 학습하게 된다.

RealEstate10K 데이터셋 실험 결과, F4Splat은 기존 AnySplat 대비 약 24~29% 수준의 가우시안만 사용하고도 PSNR 25.64dB(8뷰 기준)를 기록하며 더 높은 화질을 달성했다. 특히 가우시안 개수를 극단적으로 줄인 환경에서도 타 모델들보다 우수한 LPIPS 수치를 보였다. ACID 데이터셋을 이용한 일반화 성능 평가에서도 2뷰 입력만으로 PSNR 26.28dB를 기록하며 미보정 설정에서 SOTA 성능을 확인했다. Ablation Study를 통해 밀도화 점수 기반 할당이 랜덤 할당이나 단순 주파수 기반 할당보다 월등히 우수함을 증명했다. 또한 Scene-scale Regularization이 학습 안정성에 필수적임을 수치적으로 입증했다.

아키텍처는 VGGT 구조를 따르는 Geometry Backbone을 기반으로 하며, DINOv2-ViT-L/14를 백본으로 사용한다. 입력 이미지에서 추출된 토큰들에 카메라 토큰과 레지스터 토큰을 결합하여 프레임별 및 전역 어텐션을 수행함으로써 카메라 포즈와 기하 구조를 동시에 추론한다. 핵심 알고리즘인 Predictive Densification은 표준 3DGS의 ADC(Adaptive Density Control)를 피드포워드 네트워크로 모사한다. 학습 단계에서 렌더링 손실의 뷰 공간 그래디언트 놈을 로그 스케일링하여 회귀 학습시킨다. 가우시안 예산 제어는 precomputed lookup table을 이용한 바이너리 서치로 구현된다. 모든 가능한 점수 값들에 대해 누적 가우시안 개수를 계산해두고, 사용자가 입력한 예산에 가장 근접한 임계값을 로그 시간 복잡도로 찾아낸다. 미보정 환경에서의 학습 안정성을 위해 Target-aligned Projection 기법을 도입하여 모델 예측 좌표계와 실제 좌표계 사이의 Sim(3) 변환을 추정하고 정렬한다.