3D Gaussian Splatting을 위한 드롭인 지각 최적화 기법

섹션별 상세

기존 3D Gaussian Splatting(3DGS)은 L1이나 SSIM 같은 단순 픽셀 단위 손실 함수를 사용하여 렌더링 결과물이 흐릿해지는 고질적인 문제가 있었다. 이러한 방식은 인간이 인지하는 미세한 질감과 세부 사항을 복원하는 데 한계가 있어 시각적 만족도가 낮게 나타났다. 다양한 왜곡 손실 함수를 체계적으로 탐색한 결과, 지각적 품질을 극대화할 수 있는 새로운 최적화 전략이 도출되었다. 픽셀 수준의 오차를 넘어 인간의 시각 체계에 최적화된 렌더링이 가능해졌다.

3DGS 표현 및 압축 프레임워크의 최적화 과정을 보여주는 다이어그램이다. — Diagram3D 가우시안 초기화부터 렌더링, 그리고 WD-R 손실 함수가 적용된 왜곡 및 전송률 최적화 흐름을 포함한다. 압축 전용 구성 요소와 본 연구에서 조사한 왜곡 지표의 위치를 명확히 시각화한다.

Wasserstein Distortion의 정규화 버전인 WD-R(Wasserstein Distortion Regularized)을 통해 가우시안 개수를 늘리지 않고도 화질을 개선하는 성과를 거두었다. WD-R은 확률 분포 간의 거리를 최적화하는 메커니즘을 통해 이미지의 고주파 성분과 질감을 정밀하게 복원한다. 실험 결과 WD-R은 추가적인 연산 자원 소모 없이도 기존 방식보다 훨씬 선명한 이미지를 생성하는 것으로 확인됐다. 하드웨어 제약이 있는 환경에서도 고화질 3D 콘텐츠를 구현할 수 있는 기술적 토대가 마련됐다.

39,320건의 대규모 인간 주관 평가를 통해 WD-R이 기존 3DGS 손실 함수보다 2.3배, 기존 최상위 기법인 Perceptual-GS보다 1.5배 더 선호됨이 입증됐다. 실내외 다양한 데이터셋을 활용하여 인간의 실제 시각적 선호도를 정량화하는 Bayesian Elo 점수가 산출되었다. WD-R은 모든 시나리오에서 95% 신뢰 구간 내 가장 높은 점수를 기록하며 압도적인 성능 우위를 보였다. 자동화된 지표뿐만 아니라 실제 사용자 경험 측면에서도 실질적인 개선이 이루어졌다.

실내, 실외 및 통합 장면 벤치마크에서 3DGS 방식별 Bayesian Elo 점수를 비교한 차트이다. — ChartWD-R과 WD 방식이 기존 3DGS 손실 함수나 Perceptual-GS보다 통계적으로 유의미하게 높은 인간 선호도 점수를 기록했음이 확인된다. 95% 신뢰 구간 내에서 WD-R이 가장 우수한 성능을 보임을 입증하는 핵심 근거 자료이다.

WD-R 기법은 Mip-Splatting이나 Scaffold-GS와 같은 최신 3DGS 프레임워크에 기존 손실 함수를 대체하는 것만으로 즉시 적용 가능한 높은 범용성을 갖췄다. 별도의 아키텍처 수정 없이 손실 함수만 교체했을 때 Mip-Splatting에서는 1.8배, Scaffold-GS에서는 3.6배의 선호도 향상이 관찰됐다. LPIPS, DISTS, FID 등 주요 지각 품질 지표에서도 일관되게 SOTA 성능이 달성됐다. 기존 파이프라인을 크게 변경하지 않고도 렌더링 품질을 획기적으로 높이는 것이 가능하다.

3DGS 장면 압축 분야에서도 WD-R을 적용할 경우 동일한 지각 품질을 유지하면서 비트레이트를 약 50% 절감하는 뛰어난 효율성이 확인됐다. 2D 왜곡 및 전송률-왜곡(Rate-Distortion) 목적 함수에 WD-R을 통합하여 학습함으로써 데이터 크기가 획기적으로 줄어들었다. 대규모 3D 장면 데이터를 네트워크를 통해 전송하거나 모바일 기기에 저장할 때 발생하는 비용과 지연 시간이 절반 수준으로 낮아졌다. 효율적인 데이터 관리와 고화질 경험을 동시에 제공하는 실용적인 결과이다.

용어 해설

3D 가우시안 스플래팅(3D Gaussian Splatting): — 3D 공간을 수많은 가우시안 타원체로 표현하여 실시간으로 고화질 렌더링을 수행하는 기술이다. 기존의 메쉬나 포인트 클라우드 방식보다 렌더링 속도가 빠르며 실사 같은 품질을 제공하여 최근 컴퓨터 비전 분야에서 핵심적인 기술로 자리 잡았다.
지각적 이미지 유사도 지표(LPIPS): — 딥러닝 특징 맵을 사용하여 두 이미지 간의 지각적 유사도를 측정하는 지표로, 단순 픽셀 비교보다 인간의 시각 체계와 유사하게 화질을 평가한다. 3DGS의 렌더링 품질을 인간의 눈에 더 가깝게 측정하기 위해 필수적으로 사용되는 벤치마크 도구이다.
바세르슈타인 왜곡(Wasserstein Distortion): — 확률 분포 간의 거리를 측정하는 Wasserstein 거리를 기반으로 이미지 왜곡 정도를 평가하여 더 정밀한 복원을 돕는 손실 함수이다. 이미지의 구조적 정보를 보존하면서도 미세한 질감을 살리는 데 탁월하여 고화질 렌더링 최적화에 중요하게 쓰인다.
엘로 점수(Elo Score): — 상대적인 비교를 통해 개별 항목의 실력을 수치화하는 방식으로, 여기서는 인간의 선호도 순위를 정량화하는 데 사용되었다. 수만 건의 쌍체 비교 데이터를 바탕으로 각 모델의 시각적 품질을 객관적인 순위로 변환하여 성능을 입증하는 근거가 된다.
전송률-왜곡 최적화(Rate-Distortion Optimization): — 데이터 압축 시 비트레이트(Rate)와 화질 저하(Distortion) 사이의 최적의 균형점을 찾는 최적화 기법이다. 3D 장면 데이터를 효율적으로 저장하면서도 시각적 품질을 최대한 유지하기 위한 핵심적인 수학적 프레임워크를 제공한다.

기술

3D Gaussian Splatting
WD-R
Mip-Splatting
Scaffold-GS
LPIPS
DISTS
FID

활용 사례

3D 장면 렌더링
3D 콘텐츠 압축
실시간 가상 환경 시각화

언급된 리소스

논문Drop-In Perceptual Optimization for 3D Gaussian Splatting