Multi4D: 다중 레벨 경쟁 할당을 통한 고충실도 동적 Gaussian Splatting

동적 3D 장면 재구성에서 모션 일관성과 시각적 충실도는 상충 관계를 보인다. Multi4D는 표현을 static / persistent / transient의 세 수준으로 분할하고 잔차 기반 경쟁 할당을 적용해 두 목표를 동시에 만족하면서 실시간 렌더링과 저장 효율을 크게 개선한다.

문제 출발점과 기존 한계: 동적 장면 재구성은 물체의 시간적 정체성(tracking)과 프레임별 고주파 외형(예: 스펙큘러, 조명 변화)을 동시에 만족해야 한다. Deformation-based 방법은 canonical 가우시안을 변형시켜 정체성을 지키지만 deformation field가 고주파 외형 변화를 운동으로 흡수해 과도한 smoothing(모션 over-factorization)이 발생한다. 반대로 4D-primitive(시간 확장 가우시안)는 외형 변화를 잘 포착하지만 시간 축에서 수많은 단명 프리미티브를 생성해 temporal over-parameterization과 저장·정체성 붕괴를 초래한다.

전체 접근과 핵심 아이디어: 표현을 하나로 묶는 대신 세 수준(𝒢_s, 𝒢_d, 𝒢_t)으로 분해하고 단일 미분 가능한 래스터라이저로 공동 렌더링해 gradient coupling을 유도한다. 렌더링 과정에서 어느 서브셋이 픽셀 잔차를 먼저 설명하면 다른 서브셋의 동일 영역에 대한 densification이 억제되어 잔차 기반 경쟁 할당이 자연히 발생한다.

초기화와 수치 안정화: 각 서브셋은 역표현력 원칙으로 초기화된다. Static(𝒢_s)는 COLMAP 포인트로 촘촘히 초기화되어 정적 구조를 고정하고, Persistent(𝒢_d)는 희박 랜덤 초기화로 점진적 정교화를 허용하며, Transient(𝒢_t)는 초기에는 비어 있다가 필요한 시점에만 lifting으로 인스턴스화된다. 공간·시간 스케일은 카메라 분포와 전체 비디오 길이로 선형 정규화하여 4D 공분산의 조건수 악화를 방지한다.

Velocity-Aware Periodical Lifting: 활동 점수(m'i(t))가 임계치를 넘는 𝒢_d 원소들에서 K 후보를 샘플링해 𝒢_t로 승격시킨다. 승격 시 부모의 속도 v_i를 유한차분으로 추정해 4D 평균 위치 μ{4D}^{new}와 주축 정렬(Align)을 초기값으로 사용한다. 이 절차는 transient primitive의 초기 추정이 motion prior를 반영하도록 하여 4D 최적화의 불안정성을 완화한다.

Mask-Aware Pruning 및 기여 기반 점수: 각 가우시안의 뷰별 peak contribution w_{i,I}를 계산한다 → (계산 방식) 픽셀 u에서의 가시 기여 σ_i·P_i·∏{j<i}(1-σ_j·P_j)을 평가하고 gating mask M(u)를 곱한다 → 이 w{i,I} 값을 시퀀스 창 ℐ_s에 걸쳐 β·max + (1-β)·mean으로 집계해 최종 점수 s_i를 얻는다 → s_i < τ_prune이면 제거한다. 이 과정은 persistent/static의 영역 제약을 반영해 cross-set 중복을 줄인다.

학습 일정과 손실: 두 단계로 학습한다. Phase I에서는 dynamic–static 분리, velocity-aware lifting, mask-aware pruning, unified renderer를 활성화해 집합 형성(specialization)을 유도한다. Phase II에서는 lifting과 분리를 비활성화하고 렌더링 정교화에 집중한다. 전체 손실은 L_total = L_color + λ_sep L_sep + λ_reg L_reg + λ_div L_diversity로 구성되고, L_diversity(SSIM 기반)는 𝒞_t와 𝒞_p 간 중복을 억제한다.

메인 벤치마크 결과: Technicolor에서 Multi4D는 평균 PSNR 34.30, 평균 DSSIM 0.037, 렌더링 속도 161 FPS로 보고되었다(표 1). Neu3D에서는 평균 PSNR 32.30?→ 논문 표에 따른 장면별 최고 성능을 기록하며, Neu3D에서 217 FPS를 달성했다. Monocular NeRF-DS에서 평균 PSNR은 23.69, DSSIM 0.077로 기존 4D-primitive 방법들이 희박한 감독 하에서 겪는 붕괴를 피하면서 우수한 재구성 품질을 유지했다.

Ablation 결과: persistent subset(𝒢_d) 제거 시 PSNR이 33.92→32.78로 하락했고, transient subset(𝒢_t) 제거 시 PSNR이 33.92→32.86로 하락했다. Velocity-aware lifting을 무작위 초기화로 대체하면 PSNR이 33.92→33.22로 감소했다. Mask-aware pruning 비활성화 시 동적 가우시안 수가 165k→729k로 증가하고 저장 용량은 214.7MB→527.9MB로 증가했다(테이블 5).

효율성: Multi4D는 동적 가우시안 수를 ≈165k로 유지해 4DGS(≈4.2M) 대비 약 25× 감소를 보였고, 전체 모델 저장용량은 2.6 GB→214.7 MB로 축소되었다. 학습 수렴 시간은 단일 RTX 4090에서 1.2시간으로 보고되어 4DGS의 5.5시간 대비 4.6× 속도 향상을 기록했다.

전체 아키텍처 구조: 표현은 𝒢 = 𝒢_s ∪ 𝒢_d ∪ 𝒢_t로 구성된다. 𝒢_s는 COLMAP로 초기화된 시간 불변 가우시안, 𝒢_d는 canonical 위치 μ와 rotation r을 갖고 deformation field Φ_g(μ,t)로 시간별 위치 μ_t를 생성하는 영속적 동적 가우시안, 𝒢_t는 4D 공분산 Σ_{4D}와 시간 위치 μ_t를 포함하는 일시적 4D 가우시안이다. 모든 서브셋은 단일 미분 가능한 래스터라이저로 깊이 정렬되어 동시에 렌더링된다.

핵심 메커니즘의 수학적 기반: 3D 가우시안은 g(x)=exp(-1/2 (x-μ)^T Σ^{-1}(x-μ))로 정의된다. 4D 가우시안은 μ_{4D}=(μ_xyz, μ_t)와 Σ_{4D}를 갖고, 주어진 시점 t에서 슬라이싱하여 μ_{xyz|t}와 Σ_{xyz|t}를 얻는다. 예를 들어 [입력] μ_{4D}, Σ_{4D}를 넣으면 → [연산] Σ_{1:3,4} Σ_{4,4}^{-1}(t-μ_t)와 행렬 차 연산을 수행해 → [결과] μ_{xyz|t}와 Σ_{xyz|t}를 얻는다 → [의미] 이를 통해 4D primitive를 해당 시점의 3D Gaussian로 해석해 렌더링에 사용한다.

렌더링·블렌딩: 픽셀 색 C(u)는 깊이 정렬된 가우시안 i에 대해 c_i(d)·σ_i·P_i(g_i,u)·∏_{j<i}(1-σ_j P_j)를 합산해 계산된다(식 2). Unified rendering은 이 합산을 𝒢 전체에 적용해 Full Render(C_full), Persistent Render(C_p), Transient Contribution(C_t)를 동일 패스에서 분리 추출한다. C_t와 C_p 사이에 SSIM 기반 L_diversity를 적용해 중복 모델링을 억제한다.

마스크 기반 분해·학습: 𝒢_d에 base mask logit m_i와 MLP 𝒟_m를 추가해 시간 의존 마스크 m'_i(t)를 얻고, 이를 이용해 2D dynamic mask M_d를 렌더링한다. 복합 이미지 C_comp = M_d ⊙ C_d + (1-M_d) ⊙ C_s를 초기 색역 손실로 사용해 동적·정적 분리를 유도한다.

마스크 인식 유틸리티 정리 수식 설명: 뷰 I에서 픽셀 u에 대해 가우시안의 기여를 평가하면 → 픽셀별 기여 값들을 최대값 연산으로 찾고(=w_{i,I}) → gating mask M(u)를 곱해 포어그라운드/백그라운드 인식 반영 → 창(ℐ_s) 전역에서 s_i = β·max_I(w_{i,I}) + (1-β)·mean_I(w_{i,I})를 계산해 pruning 기준으로 사용한다. 이로써 일시적·영속적 가우시안의 지역 기여도를 균형 있게 판단한다.

학습 세부: L_total = L_color + λ_sep L_sep + λ_reg L_reg + λ_div L_diversity. 두 단계 학습(Phase I: subset formation 활성화, Phase II: rendering refinement)로 구성되며, stochastic primitive dropout와 mask-aware pruning이 전체 최적화 동안 활성화되어 과다파라미터화를 제어한다. 실험은 단일 NVIDIA RTX 4090에서 수행되었다.

논문에 명시된 한계는 명시적 속성 압축(attribute compression)이 현재 포함되어 있지 않다는 점이다. 후속 연구로는 변형(distillation) 기반 절단, Gaussian quantization, 혹은 경량 deformation 파라미터화가 제시되었다.