마트료시카 가우시안 스플래팅 (Matryoshka Gaussian Splatting)

기존 3D 가우시안 스플래팅은 하드웨어 성능에 따라 화질을 유연하게 조절하기 어려웠으나, 이 논문은 마트료시카 인형처럼 데이터를 중첩 구조로 학습시켜 성능 저하 없이 실시간으로 화질과 속도를 최적화한다. 고사양 PC부터 모바일 기기까지 하나의 모델로 대응할 수 있는 길을 열었다.

3D Gaussian Splatting(3DGS)은 수백만 개의 가우시안 타원체(Primitive)를 렌더링하여 실시간 3D 장면을 구현한다. 하지만 기존 방식은 모든 가우시안을 한꺼번에 사용하도록 최적화되어 있어, 연산량을 줄이기 위해 일부를 무작위로 제거하면 화질이 급격히 무너지는 한계가 있었다. MGS는 '마트료시카' 인형의 구조에서 영감을 얻어 가우시안들을 중요도 순서대로 정렬한다. 즉, 앞부분의 k개 가우시안(Prefix)만 사용해도 장면의 뼈대를 보여주고, 개수를 늘릴수록 세부 묘사가 더해지는 중첩된(Nested) 구조를 학습시킨다. 이를 위해 학습 과정에서 전체 가우시안 집합과 무작위로 선택된 부분 집합을 동시에 렌더링하고 오차(Loss)를 계산한다. 이 과정은 모델이 적은 자원에서도 최선의 결과를 내도록 강제하며, 결과적으로 단일 모델이 저사양 모바일 기기부터 고사양 워크스테이션까지 모든 환경에서 최적의 성능을 내게 한다. 별도의 추가 데이터 구조 없이도 실시간으로 가우시안 개수를 조절하여 화질과 속도의 균형을 맞출 수 있다.

가우시안 프리미티브 g_i에 대해 불투명도 σ_i를 중요도 점수 s(g_i)로 정의한다. 모든 가우시안을 점수 내림차순으로 정렬하여 인덱스 순열 π를 생성하고, 상위 k개의 가우시안으로 구성된 부분 집합 G_≤k를 정의한다. Stochastic Budget Training 단계에서는 매 반복마다 [r_min, 1] 범위에서 무작위 비율 r을 샘플링하여 예산 k = ⌈rN⌉을 결정한다. 이후 부분 집합 G_≤k와 전체 집합 G_≤N을 각각 렌더링하여 두 개의 결과물을 얻는다. 최종 손실 함수는 부분 집합의 재구성 손실과 전체 집합의 재구성 손실의 가중합으로 계산된다. [두 개의 렌더링 이미지와 원본 이미지 → 오차 계산 및 합산 → 최종 손실값 → 모델의 학습 방향 결정] 과정을 통해 모든 예산 수준에서 강건한 성능을 확보한다. 학습 중 가중치 업데이트로 인해 가우시안의 속성이 변하므로, 매 단계마다 중요도 점수를 재계산하고 정렬 순서를 갱신하는 Dynamic Reordering을 수행한다.

Mip-NeRF 360, Tanks & Temples 등 4개 벤치마크에서 기존 LoD 기법들을 압도하는 성능을 보였다. 특히 Mip-NeRF 360 데이터셋에서 최고 화질 기준 PSNR 28.20dB를 기록하며, LoD 기능이 없는 SOTA 모델인 3DGS-MCMC(28.40dB)에 근접한 성능을 유지하면서도 연속적인 속도 조절이 가능함을 입증했다. 품질-속도 트레이드오프를 평가하는 AUC(Area Under the Curve) 지표에서 MGS는 타 모델 대비 월등히 높은 수치를 기록했다. 가우시안 개수를 510% 수준으로 극단적으로 줄였을 때도 타 모델은 화면이 깨지는 현상이 발생했으나, MGS는 2128dB 수준의 PSNR을 유지하며 형태를 보존했다. Ablation Study를 통해 불투명도 기반 정렬이 부피(Volume)나 색상 분산(Color Variance) 기반 정렬보다 모든 예산 범위에서 우수한 화질을 제공함이 입증됐다. 또한 전체 집합 손실 항(γ 항)이 없을 경우 저해상도 화질은 약간 좋아지나 전체 화질이 크게 저하됨을 밝혀내어 두 항의 공존 필요성을 확인했다.

MGS 아키텍처는 별도의 추가 네트워크나 인덱스 구조 없이 표준 3DGS 파이프라인을 그대로 유지하면서 학습 목적 함수(Objective Function)만 변경한다. 이는 기존 3DGS 기반 시스템에 즉시 통합 가능하다는 기술적 차별점을 갖는다. 수학적으로는 Matryoshka Representation Learning(MRL)의 개념을 임베딩 차원이 아닌 장면 프리미티브(Primitive) 단위로 확장 적용했다. 각 가우시안은 독립적인 엔티티로서 존재하지만, 정렬된 순서에 따라 상위 집합에 포함되는 중첩 구조를 형성한다. 학습 시 50k 반복(Iteration)을 수행하며, NVIDIA A100 GPU 환경에서 gsplat 라이브러리를 기반으로 구현되었다. 전체 가우시안 용량은 N=5M으로 설정되었으며, γ=1의 가중치를 사용하여 부분 집합과 전체 집합의 중요도를 동일하게 취급했다.

거리 기반 또는 시야각 기반의 가우시안 선택 전략, 적응형 예산 스케줄링, 장치 인식 렌더링 시스템과의 통합 등은 향후 과제로 남아 있다.