RT-Splatting: Gaussian Splatting으로 반사-투과를 함께 모델링하는 방법

3D Gaussian Splatting은 실시간 렌더링에 강점이 있지만 얇은 반투명 표면에서 반사와 투과를 동시에 정확히 모델링하기 어렵다. RT-Splatting은 각 가우시안의 기하학적 점유와 광학적 불투명도를 분리하여 표면-부피의 단일 표현으로 결합하고, 이를 통해 반사와 전방향 전파 투과를 동시에 고해상도로 재현한다. 또한 Specular-Aware Gradient Gating으로 복잡한 스펙큘러 영역에서의 잘못된 그래디언트 흐름을 억제해 floaters를 줄이고 투과부의 선명도를 개선한다. 실험은 반투명 표면이 특징인 실제 씬에서 SOTA 성능을 달성하고, 실시간 렌더링과 자유로운 장면 편집을 가능하게 한다.

출발점: 3D Gaussian Splatting은 표면 근처의 고주파 반사를 잘 재현하지만 반투명 표면에서 투과를 충분히 확보하지 못한다. 이 논문은 각 Gaussian의 기하학적 존재 여부와 광학적 흡수/산란 여부를 분리하여 single Gaussian 세트로 surface-volume을 표현한다. 해결 원리는 occupancy σ가 표면에 대한 ray의 상호작용 가능성을 결정하고, α가 그 상호작용에서의 광 흡수/산란 확률을 결정한다. 따라서 α_eff = σα로 부피적 합성을 수행하며, first-hit 표면 속성은 G-buffers로 샤이딩하고, 투과는 forward pass의 부피 누적으로 모형화한다.

중요 변화: Specular-Aware Gradient Gating으로 고주파 스펙큘러 영역에서의 그래디언트 흐름을 억제하고, 전송 브랜치에 잘못된 보상을 줄여 floaters를 줄인다. 또한 transparent mask 정규화를 통해 투명한 Gaussian의 불필요한 공간 배치를 제어한다. 이로써 반사와 투과를 하나의 일관된 표현으로 관리하면서 실시간 렌더링과 실세계 씬 편집이 가능해진다.

입력으로 Ray가 Gaussian 집합을 따라 진행된다. 각 Gaussian i에 대해 p_i = σ_i G_i ∏_{j< i}(1 - σ_j G_j)로 첫 상호작용 확률을 정의하고, A = ∑ p_i a_i로 기대 표면 속성을 구한다. 이는 이전의 단순 alpha blending과 수학적으로 유사하지만, Gaussians를 하나의 표면으로 확률적으로 합성하는 물리적 해석을 제공한다. 반사 샤이딩은 G-buffers에서 수행되고, 투과는 α_eff = σα를 사용한 부피 누적으로 처리된다. 최종 색상은 C = C_spec + β C_sub로 합성되며, β는 subsurface attenuation을 제어한다. Loss로는 L_img, L_n, L_mask를 사용하고, L_mask는 inverted SAM-2(mask)와 BCE를 이용해 first-hit opacity를 지도화한다.

주요 벤치마크에서 제안 방법은 전체 이미지 PSNR 27.490, SSIM 0.831, LPIPS 0.167을 달성하고, 투명 영역에서 PSNR 39.765, SSIM 0.992, LPIPS 0.010로 우수하다. FPS는 33.28로 실시간 렌더링에 적합하며, 학습 시간은 0.9h로 비교적 빠른 편이다. Ablation에서 occupancy 없이 w/o occupancy의 PSNR은 36.919, Ours는 37.983로, 공정한 설정에서의 성능 향상이 확인된다. w/o gating, w/o Lmask 등의 변형은 각각 37.754, 37.167 등으로 핵심 구성요소의 중요성이 뚜렷하다. 실험은 Ref-Real, NeRF-Casting, EnvGS, T&T의 공개 벤치마크와 자체 수집 씬에서 수행되었다.

아키텍처: occupancy- opacity factorization를 통해 3D Gaussian Splatting의 per-Gaussian opacity를 두 축으로 분리한다. 수식적으로 첫 히트 확률 p_i = σ_i G_i ∏_{j< i}(1 - σ_j G_j)로 정의하고, A = ∑ p_i a_i로 표면 속성을 모아 G-buffers에 전달한다. deferred shading은 surface-based reflection에 대한 C_spec를 계산하고, forward pass는 C_trans를 누적한다. 최종적으로 C_final = C_spec + β C_sub에서 C_sub = τ C_trans + (1-τ) C_scatter로 표현하여 투과와 산란을 함께 모델링한다. 학습 손실: L_img = (1-λ) L1 + λ L_D-SSIM + λ_perc L_perc, L_mask = BCE(1 - M, α), 총 손실 L = L_img + λ_n L_n + λ_mask L_mask. Specular-Gradient 게이팅은 이질적 스펙큘러 영역에서의 역전파를 조절하여 전송 브랜치의 불필요한 보강을 차단한다. 보조 지도(transparent mask)로 라벨 정보를 활용해 α에 대한 지도 학습이 수행된다.

얇은 반투명 표면에 특화되어 있으며 굴절/다중 반사 등 thicker refractive 매질과 다중 반사 경로를 직접 모델링하지는 않는다. thicker 미디어나 물 속/유리 등의 다중 바운스 광전달을 확장하는 것이 남는 연구 과제이다.