RT-Splatting: Gaussian Splatting으로 반사-투과를 함께 모델링하는 방법

3D Gaussian Splatting은 실시간 렌더링에 강점이 있지만 얇은 반투명 표면에서 반사와 투과를 동시에 정확히 모델링하기 어렵다. RT-Splatting은 각 가우시안의 기하학적 점유와 광학적 불투명도를 분리하여 표면-부피의 단일 표현으로 결합하고, 이를 통해 반사와 전방향 전파 투과를 동시에 고해상도로 재현한다. 또한 Specular-Aware Gradient Gating으로 복잡한 스펙큘러 영역에서의 잘못된 그래디언트 흐름을 억제해 floaters를 줄이고 투과부의 선명도를 개선한다. 실험은 반투명 표면이 특징인 실제 씬에서 SOTA 성능을 달성하고, 실시간 렌더링과 자유로운 장면 편집을 가능하게 한다.

왜 중요한가

핵심 기여

지오메트리 점유와 광학 불투명도의 분리

각 Gaussian에 대해 geometric occupancy σ와 optical opacity α를 분리하고, 이들의 곱 α_eff = σ α로 유효 불투명도를 정의한다. 이를 통해 얇고 반투명한 표면에서도 표면 모양의 샤이딩과 배경 전파를 동시에 정확히 처리하는 unified surface-volume 표현을 얻는다.

Specular-Aware Gradient Gating 도입

고주파 스펙큘러 영역에서의 그래디언트가 전송 브랜스로 잘못 흐르는 것을 방지하기 위해 g(x) = exp(-k·Var_N(x)[C_spec])를 사용해 전송loss의 그래디언트를 선택적으로 조정한다. 이를 통해 floaters를 감소시키고 배경의 선명도를 유지한다.

하이브리드 렌더링 파이프라인

첫 Hit 표면 속성은 deferred pass의 G-buffers에 축적하고, transmission은 forward pass의 부피 렌더링으로 누적한다. C_final은 C_spec + β C_sub의 형태로 합성되며, β는 subsurface attenuation를 제어한다.

투명 마스크 정규화와 joint 최적화

투명 마스크를 BCE 손실로 지도화하고, 전체 Gaussian의 가시성을 보정하는 transparent mask loss를 도입한다. 또한 반사-전달의 공동 최적화를 통해 얇은 투명 표면에서도 배경 정보를 보존한다.

씬 편집 응용

반사-투과가 분리된 표현 덕분에 roughness, transparency, tint, specular highlight 등을 독립적으로 편집할 수 있다.

핵심 아이디어 이해하기

출발점: 3D Gaussian Splatting은 표면 근처의 고주파 반사를 잘 재현하지만 반투명 표면에서 투과를 충분히 확보하지 못한다. 이 논문은 각 Gaussian의 기하학적 존재 여부와 광학적 흡수/산란 여부를 분리하여 single Gaussian 세트로 surface-volume을 표현한다. 해결 원리는 occupancy σ가 표면에 대한 ray의 상호작용 가능성을 결정하고, α가 그 상호작용에서의 광 흡수/산란 확률을 결정한다. 따라서 α_eff = σα로 부피적 합성을 수행하며, first-hit 표면 속성은 G-buffers로 샤이딩하고, 투과는 forward pass의 부피 누적으로 모형화한다.

중요 변화: Specular-Aware Gradient Gating으로 고주파 스펙큘러 영역에서의 그래디언트 흐름을 억제하고, 전송 브랜치에 잘못된 보상을 줄여 floaters를 줄인다. 또한 transparent mask 정규화를 통해 투명한 Gaussian의 불필요한 공간 배치를 제어한다. 이로써 반사와 투과를 하나의 일관된 표현으로 관리하면서 실시간 렌더링과 실세계 씬 편집이 가능해진다.

방법론

입력으로 Ray가 Gaussian 집합을 따라 진행된다. 각 Gaussian i에 대해 p_i = σ_i G_i ∏_{j< i}(1 - σ_j G_j)로 첫 상호작용 확률을 정의하고, A = ∑ p_i a_i로 기대 표면 속성을 구한다. 이는 이전의 단순 alpha blending과 수학적으로 유사하지만, Gaussians를 하나의 표면으로 확률적으로 합성하는 물리적 해석을 제공한다. 반사 샤이딩은 G-buffers에서 수행되고, 투과는 α_eff = σα를 사용한 부피 누적으로 처리된다. 최종 색상은 C = C_spec + β C_sub로 합성되며, β는 subsurface attenuation을 제어한다. Loss로는 L_img, L_n, L_mask를 사용하고, L_mask는 inverted SAM-2(mask)와 BCE를 이용해 first-hit opacity를 지도화한다.

주요 결과

주요 벤치마크에서 제안 방법은 전체 이미지 PSNR 27.490, SSIM 0.831, LPIPS 0.167을 달성하고, 투명 영역에서 PSNR 39.765, SSIM 0.992, LPIPS 0.010로 우수하다. FPS는 33.28로 실시간 렌더링에 적합하며, 학습 시간은 0.9h로 비교적 빠른 편이다. Ablation에서 occupancy 없이 w/o occupancy의 PSNR은 36.919, Ours는 37.983로, 공정한 설정에서의 성능 향상이 확인된다. w/o gating, w/o Lmask 등의 변형은 각각 37.754, 37.167 등으로 핵심 구성요소의 중요성이 뚜렷하다. 실험은 Ref-Real, NeRF-Casting, EnvGS, T&T의 공개 벤치마크와 자체 수집 씬에서 수행되었다.

기술 상세

아키텍처: occupancy- opacity factorization를 통해 3D Gaussian Splatting의 per-Gaussian opacity를 두 축으로 분리한다. 수식적으로 첫 히트 확률 p_i = σ_i G_i ∏_{j< i}(1 - σ_j G_j)로 정의하고, A = ∑ p_i a_i로 표면 속성을 모아 G-buffers에 전달한다. deferred shading은 surface-based reflection에 대한 C_spec를 계산하고, forward pass는 C_trans를 누적한다. 최종적으로 C_final = C_spec + β C_sub에서 C_sub = τ C_trans + (1-τ) C_scatter로 표현하여 투과와 산란을 함께 모델링한다. 학습 손실: L_img = (1-λ) L1 + λ L_D-SSIM + λ_perc L_perc, L_mask = BCE(1 - M, α), 총 손실 L = L_img + λ_n L_n + λ_mask L_mask. Specular-Gradient 게이팅은 이질적 스펙큘러 영역에서의 역전파를 조절하여 전송 브랜치의 불필요한 보강을 차단한다. 보조 지도(transparent mask)로 라벨 정보를 활용해 α에 대한 지도 학습이 수행된다.

한계점

얇은 반투명 표면에 특화되어 있으며 굴절/다중 반사 등 thicker refractive 매질과 다중 반사 경로를 직접 모델링하지는 않는다. thicker 미디어나 물 속/유리 등의 다중 바운스 광전달을 확장하는 것이 남는 연구 과제이다.

실무 활용

실무적으로 얇은 반투명 표면의 반사-투과를 동시에 고품질로 재현하며, 실시간 렌더링과 장면 편집이 가능하다.

자동차 윈도우/유리 표면의 고품질 반사-투과 재현 및 편집
실시간 AR/VR 환경에서의 투명 오브젝트 렌더링
투명 물질이 배경을 보여주는 씬의 시각적 일관성 개선
가상 프로덕션에서 얇은 필름/유리의 시각적 효과 시뮬레이션

코드 공개 여부: 공개

코드 저장소 보기

키워드

Gaussian Splatting(가우시안 스플래팅)semi-transparent surfaces(반투명 표면)specular surfaces(스펙큘러 표면)surface-volume representation(표면-부피 표현)occupancy σ(점유도)optical opacity α(광학 불투명도)α_eff=σα(유효 불투명도)G-buffersSpecular-Aware Gradient Gatingforward renderingdeferred shadingtransparent mask regularization

용어 해설

점유도 σ(occupancy σ): — 점유도 σ는 광선이 가우시안 형상의 물질과 상호작용하는 확률(지오메트리의 존재 여부)을 뜻한다. 이 값이 크면 표면으로 간주될 가능성이 커지고, 작으면 표면과 무관한 공간으로 간주된다.
광학 불투명도(optical-opacity): — 광학 불투명도 α는 상호작용이 발생한 경우 광선이 흡수되거나 산란될 확률을 나타낸다. α와 σ의 곱으로 유효 불투명도 α_eff가 정의된다.
표면-부피 표현(Surface-Volume Representation): — 한 세트를 이루는 가우시안에 대해 표면 기하와 부피(매질 내부 전파)를 함께 표현하는 unified representation을 의미한다. 이를 통해 반사와 투과를 하나의 프리미티브로 다룬다.
G-버퍼(G-buffers): — 지오메트리 파이프라인에서 얻어지는 깊이, 법선, 알베도 등의 정보를 픽셀 단위로 보관하는 버퍼 집합이다. RT-Splatting은 이 버퍼를 이용해 first-hit 표면의 속성을 디퍼드 렌더링으로 샤이딩한다.
스펙큘러 인지 그래디언트 게이팅(Specular-Aware Gradient Gating): — 고주파 스펙큘러 영역에서 전송(branch)으로의 그래디언트 흐름을 억제하는 기법이다. 이는 floaters를 감소시키고 배경의 선명도를 보존하기 위해 사용된다.

RT-Splatting: Gaussian Splatting으로 반사-투과를 함께 모델링하는 방법

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드