모바일 3D Gaussian Splatting을 위한 몬테카를로 에너지 집계

고차 Spherical Harmonics 사용은 Gaussian Splatting에서 시점 의존 조명을 표현하는 데 유리하지만 Gaussian당 큰 메모리와 대역폭을 요구해 모바일 배포에 제약을 만든다. Flux-GS는 고차 SH의 시점 의존 에너지를 몬테카를로로 압축하고 1차 SH와 속성 기반 보정을 결합해 추론 비용을 거의 늘리지 않으면서 저장공간과 렌더링 비용을 크게 낮췄다. 이 접근은 모바일에서의 실시간 고품질 신뷰 합성을 가능하게 하는 현실적 경량화 전략을 제공한다.

3D Gaussian Splatting은 장면을 수백만 개의 비등방성 Gaussian으로 표현하고 SH 계수로 시점 의존 색상을 모델링해 높은 시각 품질을 얻는다. 그러나 3차 SH는 Gaussian당 48개의 실수 계수를 필요로 해 전체 원시요소 수가 커질수록 저장 공간과 메모리 대역폭이 급증한다. 이로 인해 모바일처럼 자원이 제한된 환경에서는 실시간 렌더링과 저장 비용이 큰 제약으로 작용한다. Flux-GS는 고차 SH가 포착하는 시점 의존 스펙큘러 정보의 본질을 에너지 크기와 우세 방향으로 요약할 수 있다는 관찰에서 출발한다. 해당 관찰을 바탕으로 구면상에서 균일 표본을 추출해 3차와 2차 SH의 차이를 계산하고 이 잔차의 양수 부분을 평균화해 크기(E_mag)와 방향 모멘트(E_dir)를 얻는다. 이 두 값은 시점 의존 에너지의 핵심 통계량으로 간주되어 저차 SH로의 복원을 가능하게 한다. 저차로의 압축은 그 자체로 색상·구조적 손실을 유발할 수 있으므로 Gaussian의 기하학적·광학적 속성에 의존하는 보정이 필요하다. Attribute-Conditioned SH Enhancement는 이러한 속성(정규화된 위치, 스케일, 회전, 불투명도, 기초 1차 SH)을 입력으로 받아 오프셋을 예측하고 이를 사전에 베이크함으로써 런타임 비용을 추가하지 않으면서도 손실된 고주파 특성을 복원한다. 이 결합으로 Flux-GS는 1차 SH만으로도 고주파 세부와 시점 의존 효과를 재현할 수 있다.

전체 파이프라인은 세 단계로 구성된다. 먼저 초기 학습 단계에서 3차 SH를 사용해 3k 반복 동안 고주파 표현을 확보한다. 다음으로 Monte Carlo Specular Energy Aggregator(MC-SEA)를 통해 3차 SH와 2차 SH의 차이를 구면상 K 표본으로 샘플링하여 각 표본 방향에서의 잔차 c_res(d_k)를 계산하고 그 양수 부분의 평균으로 E_mag와 E_dir를 얻는다. 획득한 E_mag와 E_dir, 및 정규화된 Gaussian 위치를 MLP Ψ에 입력해 1차 SH 계수 c'를 예측한다. 수학적으로는 표본화된 잔차들의 외적 및 평균 연산으로 방향 모멘트를 얻고, 이 저차 라텐트가 1차 SH 계수 공간으로 비선형 매핑된다. 이 매핑은 계수의 해석적 투영(내적)에 의해 버려지는 시점 의존 성분의 방향성과 크기를 보존하는 역할을 한다. 압축 후 보정은 Attribute-Conditioned SH Enhancement 모듈 Φ로 수행된다. Φ는 정규화된 위치, 스케일, 회전 쿼터니언, 불투명도, 기초 1차 SH를 연결해 입력으로 받고 경량 MLP를 통해 Δc를 예측한 다음 c_out = c' + Δc로 최종 계수를 만든다. Δc의 최종 선형층은 0으로 초기화되어 학습 초기에 안정적으로 표준 표현으로 수렴하도록 설계되어 있으며, 모든 보정 오프셋은 추론 전 한 번만 디코드·베이크된다. 다중뷰 기반의 densification과 pruning은 Stratified Camera Sampling으로 대표 뷰를 선정하고, 각 뷰에서의 픽셀별 포토메트릭 손실을 통해 이진 메트릭 맵을 생성한 다음 Gaussian의 알파 기여를 누적해 중요도 S+와 가지치기 점수 S-를 계산한다. 이 점수들은 기존의 단일-뷰 그래디언트 기반 clone/split 마스크와 교차되어 덕타일한 클론·분할 결정을 유도하며, 가지치기는 불투명도 임계치와 S-의 분포 기반 분위수를 결합해 수행된다. 구현 측면에서 학습은 전체적으로 30k 반복을 기준으로 수행하며 초기 3k 반복만 3차 SH를 유지한다. 배포는 WebGL을 사용해 브라우저 상에서 실시간 렌더링을 수행하고 깊이 정렬은 비동기 WebWorker와 CPU를 활용한 분리 소팅으로 처리해 렌더링 루프 제약을 회피했다. 이러한 설계로 추론 단계에서는 단 한 번의 디코드와 베이크만이 필요해 런타임 메모리와 계산 부담을 최소화했다.

주요 벤치마크에서는 Flux-GS가 저장공간과 실시간 성능 측면에서 경쟁 기법들을 능가했다. Mip-NeRF 360의 Indoor 카테고리에서 Flux-GS는 PSNR 30.22, Gaussian 수 0.22×10^6, 저장공간 2.1 MB, 모바일 FPS 147, 학습 시간 11분을 달성했으며 이는 동일 범주의 기존 기법들보다 원시요소 수와 저장 요구량이 적고 FPS가 높았다. Outdoor 카테고리에서는 PSNR 24.45, Gaussian 수 0.48×10^6, 저장공간 4.6 MB, FPS 132, 학습 시간 11분으로 보고되었다. 다른 데이터셋에서도 유사한 효율-품질 균형을 보였다. Tanks and Temples에서 Flux-GS는 PSNR 23.27, SSIM 0.827, LPIPS 0.221, 저장공간 2.4 MB, FPS 137을 기록했고 Deep Blending에서는 PSNR 29.73, SSIM 0.898, LPIPS 0.275, 저장공간 1.9 MB, FPS 158을 기록했다. 이러한 수치는 Flux-GS가 저장공간을 크게 줄이면서도 시각적 품질 지표에서 경쟁력을 유지했음을 의미한다. 성분 기여 분석을 위한 ablation 결과에서는 MC-SEA 또는 Δc를 제거하면 재구성 품질이 저하되는 반면 효율성은 유사하게 유지되는 경향을 보였다. 반대로 다중뷰 densification 또는 pruning을 비활성화하면 Gaussian 수와 저장공간이 크게 증가하고 FPS가 감소해 다중뷰 전략이 표현 압축과 속도 향상에 핵심적임이 입증되었다.

전체 아키텍처는 초기 3차 SH 기반 최적화 단계, MC-SEA를 통한 라텐트 생성 및 1차 SH 디코드 단계, Attribute-Conditioned SH Enhancement로의 보정 단계, 그리고 다중뷰 기반 densification/pruning 루프를 포함하는 파이프라인으로 구성된다. 각 Gaussian은 위치 μ, 스케일 s, 회전 r, 불투명도 o, 그리고 SH 계수 c를 저장하며 최종적으로 베이크된 1차 SH와 보정 오프셋만이 런타임에 필요하다. 학습 중에는 전체 Gaussian 파라미터와 압축된 SH 표현을 공동 최적화한다. Monte Carlo 기반의 에너지 집계는 구면상 K개의 방향 d_k를 균일 표본화하고 각 방향에서의 고차 잔차 c_res(d_k)=c_i(d_k)-c_i^2(d_k)를 계산한다. 그 다음 E_mag=1/K Σ max(0,c_res(d_k))와 E_dir=1/K Σ d_k ⊗ max(0,c_res(d_k))를 계산해 에너지의 크기와 방향 모멘트를 얻는다. 이 연산은 입력 함수의 방향성(phase)과 양적인 영향력을 보존하므로, 정규적 SH 적분이 버리는 정보를 대체할 수 있다. SH 매핑은 MLP Ψ가 수행하며 입력으로 E_mag, E_dir, 정규화된 위치 f(μ̂)를 사용해 1차 SH 계수 c'를 출력한다. 정규화 함수 f는 위치 벡터의 노름이 1을 초과하면 특정 스케일링을 적용해 outlier의 영향력을 완화하며, 이로 인해 MLP 학습이 안정화된다. Attribute-Conditioned MLP Φ는 추가적으로 입력된 기하학적·광학적 속성으로 Δc를 산출해 c_out = c' + Δc를 만든다. 다중뷰 densification은 Stratified Camera Sampling으로 대표 뷰를 선정한 뒤, 각 뷰에서의 픽셀별 손실을 통해 생성된 메트릭 맵 M^{+}, M^{-}으로부터 가시성 가중치 α를 누적해 S^{+}, S^{-}를 계산한다. 최종 clone/split/ prune 마스크는 기존의 그래디언트 기준과 중요도 분위수 Q_τ를 결합해 결정되어 단일-뷰 기반의 과밀화를 방지한다. 이 과정은 CUDA 커널로 렌더링 파이프라인에 통합되어 효율적으로 수행된다. 학습과 배포 세부사항으로 학습은 전체 30k 반복을 기준으로 하고 초기 3k 반복 동안 3차 SH를 사용한다. MC-SEA 기반 압축은 한 번만 수행되어 이후에는 1차 파라미터만 유지·업데이트한다. 배포는 WebGL로 구현되어 브라우저 상에서 동작하며 깊이 정렬은 비동기 WebWorker와 CPU를 이용해 처리해 렌더링 루프의 병목을 완화했다.

논문은 고차 SH를 저차로 압축하는 과정에서 색상 충실도와 일부 구조적 디테일이 손실될 수 있음을 명시하고, 이를 보정하기 위해 Attribute-Conditioned SH Enhancement 모듈을 도입해 보정 오프셋을 베이크하도록 설계했다. 또한 Flux-GS는 초기 단계에서 3차 SH로 3k 반복을 수행해야 하므로 훈련의 일부는 고차 표현을 필요로 해 전처리 학습 부하가 완전히 사라지지는 않는다. 다중뷰 기반의 densification과정은 다수의 뷰를 샘플링하고 알파 기여도를 누적해야 하므로 학습 측면에서 추가적인 렌더링 비용과 복잡도가 발생할 수 있다.