Mobile-GS: 모바일 기기를 위한 실시간 가우시안 스플래팅

3D 가우시안 스플래팅(3D Gaussian Splatting, 3DGS)은 다양한 분야에서 고품질 렌더링을 위한 강력한 표현 방식으로 부상했습니다. 그러나 높은 계산 요구량과 큰 저장 비용은 모바일 기기 배포에 상당한 어려움을 초래합니다. 본 연구에서는 엣지(edge) 기기에서 가우시안 스플래팅의 효율적인 추론을 가능하게 하는 모바일 맞춤형 실시간 가우시안 스플래팅 방법인 Mobile-GS를 제안합니다. 구체적으로, 우리는 먼저 알파 블렌딩(alpha blending)이 시간이 많이 소요되는 가우시안 깊이 정렬(depth sorting) 과정에 의존하기 때문에 주요 계산 병목 현상임을 확인했습니다. 이 문제를 해결하기 위해 정렬의 필요성을 제거하여 렌더링을 실질적으로 가속화하는 깊이 인식 순서 독립적 렌더링(depth-aware order-independent rendering) 체계를 제안합니다. 이러한 순서 독립적 렌더링은 렌더링 속도를 향상시키지만, 렌더링 순서의 부족으로 인해 기하 구조가 겹치는 영역에서 투명도 아티팩트(artifacts)가 발생할 수 있습니다. 이 문제를 해결하기 위해 시점 방향, 3D 가우시안 기하 구조 및 외형 속성을 조건으로 시점 의존적 효과를 더 정확하게 모델링할 수 있는 신경망 시점 의존적 강화(neural view-dependent enhancement) 전략을 제안합니다. 이를 통해 Mobile-GS는 고품질과 실시간 렌더링을 모두 달성할 수 있습니다. 또한, 메모리가 제한된 모바일 플랫폼에서의 배포를 용이하게 하기 위해, 신경망의 도움을 받아 가우시안 프리미티브(primitives)의 수를 줄이고 3D 가우시안 표현을 압축하기 위한 1차 구면 조화 함수 증류(first-order spherical harmonics distillation), 신경 벡터 양자화(neural vector quantization) 기술 및 기여도 기반 가지치기(contribution-based pruning) 전략을 도입합니다. 광범위한 실험을 통해 제안된 Mobile-GS가 높은 시각적 품질을 유지하면서도 실시간 렌더링과 컴팩트한 모델 크기를 달성하여 모바일 애플리케이션에 매우 적합함을 입증합니다.