Multi4D: 다중 레벨 경쟁 할당을 통한 고충실도 동적 Gaussian Splatting

왜 중요한가

동적 3D 장면 재구성에서 모션 일관성과 시각적 충실도는 상충 관계를 보인다. Multi4D는 표현을 static / persistent / transient의 세 수준으로 분할하고 잔차 기반 경쟁 할당을 적용해 두 목표를 동시에 만족하면서 실시간 렌더링과 저장 효율을 크게 개선한다.

핵심 기여

Multi-Level Gaussian Decomposition

장면 표현을 Static Gaussians, Persistent Dynamic Gaussians, Transient Gaussians의 세 집합으로 구조화하여 물리적 모션(시간적 정체성)과 일시적 외형 변화를 분리했다. 이 분리는 deformation-based 방법의 과도한 모션 인코딩과 4D-primitive 방법의 시간 과다파라미터화를 동시에 완화한다.

Bottom-up, Self-Regularized Training with Velocity-Aware Lifting

역표현력(inverse-expressiveness) 초기화와 adaptive rescaling으로 수치적 안정성을 확보하고, 활성 persistent 가우시안에서 부모 속도를 상속하는 Velocity-Aware Periodical Lifting으로 안정적인 transient 초기화를 수행한다. 이 과정은 transient set의 불필요한 폭증을 방지한다.

Unified Differentiable Rendering with Residual-Driven Allocation

세 집합을 단일 미분 가능한 래스터화 패스로 깊이 정렬하여 공유 전송률(transmittance)로 gradient를 결합했다. 픽셀별 포토메트릭 잔차에 따라 집합 간 경쟁이 발생하고, SSIM 기반 diversity loss로 중복 모델링을 억제해 집합 특화(specialization)를 유도한다.

Mask-Aware Utility-Based Pruning

가우시안의 뷰별 peak contribution w_{i,I}를 마스크 게이팅과 함께 계산하고 β-가중 집계로 s_i를 산출해 낮은 유틸리티 원소를 제거한다. 이 방식은 단순 opacity 기반 정리보다 교차 집합 중복과 시간 과다파라미터화를 더 효과적으로 줄인다.

High-Fidelity, Efficient Reconstruction and 4D Segmentation

Technicolor/Neu3D/NeRF-DS에서 SOTA 수준의 렌더링 품질을 기록하면서도 실시간 렌더링(예: Technicolor에서 161 FPS, Neu3D에서 217 FPS)을 달성했다. 동적 가우시안 수는 165k로 4DGS(≈4.2M) 대비 약 25× 축소되었고, persistent subset만으로 4D segmentation에서 mIoU 0.9142 및 feature rendering 204 FPS를 달성했다.

핵심 아이디어 이해하기

문제 출발점과 기존 한계: 동적 장면 재구성은 물체의 시간적 정체성(tracking)과 프레임별 고주파 외형(예: 스펙큘러, 조명 변화)을 동시에 만족해야 한다. Deformation-based 방법은 canonical 가우시안을 변형시켜 정체성을 지키지만 deformation field가 고주파 외형 변화를 운동으로 흡수해 과도한 smoothing(모션 over-factorization)이 발생한다. 반대로 4D-primitive(시간 확장 가우시안)는 외형 변화를 잘 포착하지만 시간 축에서 수많은 단명 프리미티브를 생성해 temporal over-parameterization과 저장·정체성 붕괴를 초래한다.

방법론

전체 접근과 핵심 아이디어: 표현을 하나로 묶는 대신 세 수준(𝒢_s, 𝒢_d, 𝒢_t)으로 분해하고 단일 미분 가능한 래스터라이저로 공동 렌더링해 gradient coupling을 유도한다. 렌더링 과정에서 어느 서브셋이 픽셀 잔차를 먼저 설명하면 다른 서브셋의 동일 영역에 대한 densification이 억제되어 잔차 기반 경쟁 할당이 자연히 발생한다.

초기화와 수치 안정화: 각 서브셋은 역표현력 원칙으로 초기화된다. Static(𝒢_s)는 COLMAP 포인트로 촘촘히 초기화되어 정적 구조를 고정하고, Persistent(𝒢_d)는 희박 랜덤 초기화로 점진적 정교화를 허용하며, Transient(𝒢_t)는 초기에는 비어 있다가 필요한 시점에만 lifting으로 인스턴스화된다. 공간·시간 스케일은 카메라 분포와 전체 비디오 길이로 선형 정규화하여 4D 공분산의 조건수 악화를 방지한다.

Velocity-Aware Periodical Lifting: 활동 점수(m'i(t))가 임계치를 넘는 𝒢_d 원소들에서 K 후보를 샘플링해 𝒢_t로 승격시킨다. 승격 시 부모의 속도 v_i를 유한차분으로 추정해 4D 평균 위치 μ{4D}^{new}와 주축 정렬(Align)을 초기값으로 사용한다. 이 절차는 transient primitive의 초기 추정이 motion prior를 반영하도록 하여 4D 최적화의 불안정성을 완화한다.

Mask-Aware Pruning 및 기여 기반 점수: 각 가우시안의 뷰별 peak contribution w_{i,I}를 계산한다 → (계산 방식) 픽셀 u에서의 가시 기여 σ_i·P_i·∏{j<i}(1-σ_j·P_j)을 평가하고 gating mask M(u)를 곱한다 → 이 w{i,I} 값을 시퀀스 창 ℐ_s에 걸쳐 β·max + (1-β)·mean으로 집계해 최종 점수 s_i를 얻는다 → s_i < τ_prune이면 제거한다. 이 과정은 persistent/static의 영역 제약을 반영해 cross-set 중복을 줄인다.

학습 일정과 손실: 두 단계로 학습한다. Phase I에서는 dynamic–static 분리, velocity-aware lifting, mask-aware pruning, unified renderer를 활성화해 집합 형성(specialization)을 유도한다. Phase II에서는 lifting과 분리를 비활성화하고 렌더링 정교화에 집중한다. 전체 손실은 L_total = L_color + λ_sep L_sep + λ_reg L_reg + λ_div L_diversity로 구성되고, L_diversity(SSIM 기반)는 𝒞_t와 𝒞_p 간 중복을 억제한다.

주요 결과

메인 벤치마크 결과: Technicolor에서 Multi4D는 평균 PSNR 34.30, 평균 DSSIM 0.037, 렌더링 속도 161 FPS로 보고되었다(표 1). Neu3D에서는 평균 PSNR 32.30?→ 논문 표에 따른 장면별 최고 성능을 기록하며, Neu3D에서 217 FPS를 달성했다. Monocular NeRF-DS에서 평균 PSNR은 23.69, DSSIM 0.077로 기존 4D-primitive 방법들이 희박한 감독 하에서 겪는 붕괴를 피하면서 우수한 재구성 품질을 유지했다.

Ablation 결과: persistent subset(𝒢_d) 제거 시 PSNR이 33.92→32.78로 하락했고, transient subset(𝒢_t) 제거 시 PSNR이 33.92→32.86로 하락했다. Velocity-aware lifting을 무작위 초기화로 대체하면 PSNR이 33.92→33.22로 감소했다. Mask-aware pruning 비활성화 시 동적 가우시안 수가 165k→729k로 증가하고 저장 용량은 214.7MB→527.9MB로 증가했다(테이블 5).

효율성: Multi4D는 동적 가우시안 수를 ≈165k로 유지해 4DGS(≈4.2M) 대비 약 25× 감소를 보였고, 전체 모델 저장용량은 2.6 GB→214.7 MB로 축소되었다. 학습 수렴 시간은 단일 RTX 4090에서 1.2시간으로 보고되어 4DGS의 5.5시간 대비 4.6× 속도 향상을 기록했다.

기술 상세

전체 아키텍처 구조: 표현은 𝒢 = 𝒢_s ∪ 𝒢_d ∪ 𝒢_t로 구성된다. 𝒢_s는 COLMAP로 초기화된 시간 불변 가우시안, 𝒢_d는 canonical 위치 μ와 rotation r을 갖고 deformation field Φ_g(μ,t)로 시간별 위치 μ_t를 생성하는 영속적 동적 가우시안, 𝒢_t는 4D 공분산 Σ_{4D}와 시간 위치 μ_t를 포함하는 일시적 4D 가우시안이다. 모든 서브셋은 단일 미분 가능한 래스터라이저로 깊이 정렬되어 동시에 렌더링된다.

핵심 메커니즘의 수학적 기반: 3D 가우시안은 g(x)=exp(-1/2 (x-μ)^T Σ^{-1}(x-μ))로 정의된다. 4D 가우시안은 μ_{4D}=(μ_xyz, μ_t)와 Σ_{4D}를 갖고, 주어진 시점 t에서 슬라이싱하여 μ_{xyz|t}와 Σ_{xyz|t}를 얻는다. 예를 들어 [입력] μ_{4D}, Σ_{4D}를 넣으면 → [연산] Σ_{1:3,4} Σ_{4,4}^{-1}(t-μ_t)와 행렬 차 연산을 수행해 → [결과] μ_{xyz|t}와 Σ_{xyz|t}를 얻는다 → [의미] 이를 통해 4D primitive를 해당 시점의 3D Gaussian로 해석해 렌더링에 사용한다.

렌더링·블렌딩: 픽셀 색 C(u)는 깊이 정렬된 가우시안 i에 대해 c_i(d)·σ_i·P_i(g_i,u)·∏_{j<i}(1-σ_j P_j)를 합산해 계산된다(식 2). Unified rendering은 이 합산을 𝒢 전체에 적용해 Full Render(C_full), Persistent Render(C_p), Transient Contribution(C_t)를 동일 패스에서 분리 추출한다. C_t와 C_p 사이에 SSIM 기반 L_diversity를 적용해 중복 모델링을 억제한다.

마스크 기반 분해·학습: 𝒢_d에 base mask logit m_i와 MLP 𝒟_m를 추가해 시간 의존 마스크 m'_i(t)를 얻고, 이를 이용해 2D dynamic mask M_d를 렌더링한다. 복합 이미지 C_comp = M_d ⊙ C_d + (1-M_d) ⊙ C_s를 초기 색역 손실로 사용해 동적·정적 분리를 유도한다.

마스크 인식 유틸리티 정리 수식 설명: 뷰 I에서 픽셀 u에 대해 가우시안의 기여를 평가하면 → 픽셀별 기여 값들을 최대값 연산으로 찾고(=w_{i,I}) → gating mask M(u)를 곱해 포어그라운드/백그라운드 인식 반영 → 창(ℐ_s) 전역에서 s_i = β·max_I(w_{i,I}) + (1-β)·mean_I(w_{i,I})를 계산해 pruning 기준으로 사용한다. 이로써 일시적·영속적 가우시안의 지역 기여도를 균형 있게 판단한다.

학습 세부: L_total = L_color + λ_sep L_sep + λ_reg L_reg + λ_div L_diversity. 두 단계 학습(Phase I: subset formation 활성화, Phase II: rendering refinement)로 구성되며, stochastic primitive dropout와 mask-aware pruning이 전체 최적화 동안 활성화되어 과다파라미터화를 제어한다. 실험은 단일 NVIDIA RTX 4090에서 수행되었다.

한계점

논문에 명시된 한계는 명시적 속성 압축(attribute compression)이 현재 포함되어 있지 않다는 점이다. 후속 연구로는 변형(distillation) 기반 절단, Gaussian quantization, 혹은 경량 deformation 파라미터화가 제시되었다.

실무 활용

Multi4D는 실시간 또는 근실시간 동적 장면 렌더링과 4D 시맨틱 추출을 필요로 하는 애플리케이션에 적용 가능하다. 저장 효율과 렌더링 속도 개선으로 실무 파이프라인에 통합하기 유리하다.

가상 프로덕션: 다중 카메라로 촬영한 동적 장면의 실시간 뷰 합성 및 조명 기반 외형 보정
로보틱스·비전: 이동 로봇의 일관된 4D 맵핑과 객체 트래킹을 위한 경량 표현
AR/VR: 동적 객체를 포함한 증강 현실에서 실시간 재투영과 저지연 렌더링
미디어 아카이빙: 고해상도 동영상의 4D 시맨틱 태깅 및 효율적 저장

코드 공개 여부: 공개

코드 저장소 보기

키워드

dynamic 3D Gaussian splatting(동적 3D Gaussian Splatting)multi-level competitive allocation(다중 레벨 경쟁 할당)transient appearance primitives(일시적 외형 프리미티브)persistent dynamic geometry(영속적 동적 기하)mask-aware pruning(마스크 인식 정리)velocity-aware lifting(속도 인식 승격)

용어 해설

일시적 가우시안(Transient Gaussian): — 시간축에서 매우 짧은 수명을 갖고 특정 프레임의 외형 잔차(예: 스펙큘러, 조명 변화)를 모델링하는 4D 가우시안. 공간-시간 4D 공분산을 갖고 시간에 따라 슬라이싱되어 해당 시점의 3D 기하와 색을 생성하므로 고주파 외형 변화를 캡처하는 데 중요하다.
영속적 동적 가우시안(Persistent Dynamic Gaussian): — 시간에 걸쳐 정체성을 유지하도록 canonical 위치와 deformation field로 제어되는 가우시안 집합. 각 원소가 전역 deformation Φ_g에 의해 시간별 위치 μ_t로 변환되어 장기적인 트래킹과 일관된 기하를 제공한다.
미분 가능한 래스터화(Differentiable Rasterization): — 연속적 가우시안 기여를 픽셀 색으로 누적·블렌딩하는 렌더링 연산으로, 픽셀별 합성 과정이 미분 가능해 가우시안 파라미터에 대해 역전파가 가능하다. 여러 서브셋을 동일 패스로 렌더링하면 gradient coupling이 발생한다.
잔차 기반 할당(Residual-Driven Allocation): — 공동 렌더링에서 발생하는 픽셀 단위 포토메트릭 잔차를 기준으로 세 가지 수준(Static / Persistent / Transient) 간에 모델링 책임을 동적으로 분배하는 규칙. 어느 집합이 잔차를 먼저 설명하면 다른 집합의 동일 영역에 대한 자원 할당이 억제된다.
속도 인식 승격(Velocity-Aware Lifting): — 활성화된 persistent Gaussian들 중에서 유한차분으로 추정한 속도(v_i)를 이용해 일부 원소를 transient 4D 가우시안으로 주기적으로 승격시키는 기법. 부모의 속도를 초기 4D 주축으로 상속하여 빠르게 수렴하는 transient primitive 초기화를 제공한다.
마스크 인식 정리(Mask-Aware Pruning): — 각 가우시안의 뷰별 최대 가시 기여(w_{i,I})를 계산하고 동적·정적 마스크로 게이팅하여 s_i 점수를 산출한 뒤 유틸리티가 낮은 가우시안을 제거하는 절차. 단순 opacity 기반 정리보다 교차 집합 중복을 줄이는 데 효과적이다.
4D 구면조화 함수(4D Spherical Harmonics (4DSH)): — 보기 방향과 시간 편차(t-μ_t)를 입력으로 하는 확장된 색 표현. 각 가우시안이 시간에 따라 변화하는 색을 표현할 수 있게 해 transient appearance를 표현하는 데 사용된다.

Multi4D: 다중 레벨 경쟁 할당을 통한 고충실도 동적 Gaussian Splatting

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드