AsySplat: 장기 시퀀스 장면 모델링을 위한 효율적 비대칭 3D Gaussian Splatting

왜 중요한가

장면 표현을 가우시안으로 구성하는 최근 연구들은 장면당 최적화 비용이 커서 장기 시퀀스와 고해상도 입력에 확장하기 어려운 문제가 있었다. AsySplat은 기하(geometry)와 외형(appearance)을 서로 다른 해상도 및 계산 예산으로 분리해 중복 연산을 줄임으로써 작은 모델로도 높은 렌더링 품질을 달성할 수 있게 했다. 이러한 접근은 장기 시퀀스 기반의 실시간 또는 저비용 파이프라인에서 모델 크기와 추론 시간을 동시에 개선할 실용적 가능성을 제공한다.

핵심 기여

비대칭 분지 구조로 기하와 외형을 분리한 아키텍처

AsySplat은 입력 토큰을 큰 패치(p_c)와 작은 패치(p_f)로 이원화하여 기하 분지는 coarse-grained 토큰을 사용하고 외형 분지는 fine-grained 토큰을 사용하도록 설계되었다. 이 구조는 inter-frame 연산이 비싼 coarse 토큰만으로 다중-뷰 대응을 처리하고, 세부 표현은 intra-frame에서 경량화된 채널로 처리하여 연산 중복을 줄인다. 분리된 두 분지는 양방향 연결 모듈을 통해 서로 정보를 보완하여 가우시안 예측 정확성과 세부 재현을 동시에 확보했다.

격자 기반 희소 어텐션 모듈로 훈련시간 절감

기하 분기에서는 전체 토큰에 대해 전면적 어텐션을 수행하면 계산 복잡도가 급증하므로 입력 토큰 맵을 격자(p_g×p_g)로 분할해 축약된 시퀀스에서 self-attention을 수행하는 희소 어텐션을 도입했다. 각 프레임별로 컨볼루션 블록으로 문맥을 정제한 뒤 격자 단위로 재배열해 어텐션을 적용함으로써 문맥 완전성을 유지하면서도 훈련 반복당 시간을 크게 단축했다. 실험에서 가장 무거운 단계의 훈련 시간이 약 40% 단축되는 것으로 보고되었다.

계산 재할당을 통한 파라미터 및 추론 효율 개선

기하 분지에 모델 파라미터의 대다수를 할당하고 외형 분지에는 전체의 약 10% 수준의 파라미터만 배치하는 방식으로 파라미터 예산을 작업 난이도에 맞춰 배분했다. 이로 인해 모델 전체 파라미터 수는 줄어들면서도 동일 시간 예산에서 더 많은 포스트-최적화 반복을 허용하여 결과 품질을 개선할 수 있었다. 논문은 32-view 960P 설정에서 최적화 기반 방법과 유사한 품질을 실현하면서 추론 속도에서 거의 800배의 개선을 보고했다.

다양한 데이터셋에서의 제로-샷 일반화 우수성

AsySplat은 DL3DV, Tanks&Temples, MipNeRF-360, Deep Blending, Replica 등 여럿의 벤치마크에서 평가되어 제로-샷 성능에서 경쟁력을 보였다. 특히 Replica 합성 데이터셋에서는 동일 파라미터 예산에서 LongLRM 대비 유의미한 PSNR 우위를 보였고, 포스트-옵티마이제이션을 포함한 시간 예산 비교에서도 우수한 결과를 보였다. 이러한 결과는 비대칭 계산 배분이 다양한 장면 분포에 대해 강건하게 작동함을 시사한다.

핵심 아이디어 이해하기

Transformer 계열과 유사한 패치화(tokenization) 기반의 스택형 네트워크는 입력 패치 수가 많아질수록 토큰 간 상호작용 비용이 기하급수적으로 증가한다. 특히 긴 시퀀스와 고해상도 입력에서는 토큰 길이 증가가 연산·메모리 병목을 야기하여 작은 모델로 고품질 NVS를 얻기 어렵게 만든다. 이러한 근본적 병목이 계산의 중복성(redundant computation)을 발생시키는 원인으로 작용했다. AsySplat은 두 가지 관찰에서 출발했다. 첫째, 고정밀의 기하 정보가 항상 고품질 렌더링에 필수는 아니다는 점이다. 렌더링 품질은 다수의 가우시안의 알파 합성(alpha compositing)에 크게 의존하기 때문에 거친 깊이 정보로도 시각 품질을 얻을 수 있다. 둘째, 외형 속성(색·SH 등)은 한 번의 깊이 추정 후 픽셀 정렬된 RGB 근거를 가우시안에 할당하면 상대적으로 학습이 쉬워 intra-frame 처리만으로도 세부를 복원할 수 있다. 이 두 관찰을 기반으로 AsySplat은 토큰 해상도와 계산 예산을 비대칭으로 배분했다. 기하 분지는 큰 패치(p_c)로 토큰 수를 줄이고 다중-뷰 매칭을 집중 처리하여 파라미터를 더 투입함으로써 교차-프레임 대응 능력을 확보했다. 외형 분지는 작은 패치(p_f)로 세부 토큰을 유지하되 intra-frame 전용 경량 모듈(MambaVision)을 사용해 연산 부담을 낮추었다. 양 분지는 양방향 교차-어텐션을 통해 기하 정보와 외형 세부를 교환하여 최종 가우시안 예측으로 합쳐진다.

방법론

전체 흐름은 두 분지(geometry branch, appearance branch)로 입력을 분기하는 것에서 시작한다. 입력 이미지들에 대해 각 프레임의 Plücker ray 정보를 결합한 뒤 두 가지 패치 크기(p_c=16, p_f=8)로 토큰화하여 coarse-grained 토큰 C^0와 fine-grained 토큰 F^0를 생성한다. 이후 기하 분지는 V·H·W/p_c^2 길이의 시퀀스를 받아 세 단계의 계층적 스테이지를 거쳐 Mamba와 Sparse Attention 블록을 조합해 inter-frame 매칭을 수행한다. 각 기하 스테이지는 먼저 Nb개의 bidirectional Mamba 블록으로 장기 문맥을 효율적으로 집계한 뒤 Na개의 SparseAttn 레이어로 정제한다. Sparse Attention은 토큰을 2D 맵으로 재형성하고 각 프레임별로 컨볼루션 정제를 수행한 후 p_g×p_g 격자로 분할해 재배열한 축약 시퀀스에서 self-attention을 수행하고 다시 원형태로 복원하는 방식으로 작동한다. 이 모듈은 전체 토큰 길이에서의 제곱 복잡도를 피하면서도 지역-전역 문맥을 보존하도록 설계되었다. 외형 분지는 프레임 내에서만 연산을 수행하도록 설계되어 시퀀스 길이가 뷰 수 V에 선형적으로 확장되는 영향을 받지 않는다. 각 스테이지는 MambaVision 블록을 연속으로 쌓아 per-frame 표현을 강화하고, 단계별로 산출된 토큰은 양방향 연결 모듈을 통해 기하 분지와 교차-어텐션 및 self-attention 흐름으로 정보를 교환한다. 최종적으로 Coarse와 Fine 출력을 Conv3×3(stride=p_c/p_f)로 융합해 픽셀-정렬된 가우시안 파라미터 맵을 얻고 각 픽에 대해 p_f^2개의 가우시안을 디코딩해 최종 장면 표현을 완성한다.

주요 결과

AsySplat은 32-view 960P 입력 설정에서 최적화 기반 3DGS 방법과 유사한 렌더링 품질을 달성하면서 추론 시간에서 큰 개선을 보였다. 논문은 feed-forward 단독 실행 시 AsySplat의 추론 시간이 1초 미만인 반면 전통적 최적화 기반 3DGS는 수 분 단위(예: 13분)를 요구했다고 보고했다. 또한 포스트-옵티마이제이션을 10회 수행한 설정에서는 AsySplat이 18초, 일부 최적화 기반 방법은 수십 초 이상 소요되어 동일 시간 예산 대비 더 높은 PSNR을 얻을 수 있음을 보였다. 제로-샷 일반화 측면에서 AsySplat은 Tanks&Temples, MipNeRF-360, Deep Blending, Replica 등 여러 벤치마크에서 LongLRM 대비 동일 또는 더 우수한 PSNR과 SSIM을 기록했다. Replica 합성 데이터에서는 LongLRM(0 iter) 대비 AsySplat(0 iter)이 25.89→27.46 PSNR로 우위를 보였고, 포스트-옵티마이제이션 10회 기준에서는 28.37→30.83 PSNR로 더 큰 격차를 기록했다. 이 결과는 파라미터 효율적 계산 배분이 다양한 장면 유형에 대해 실제 품질 이득으로 연결됨을 시사한다. 효율성 분석에서 AsySplat은 모델 파라미터를 98M으로 줄여 LongLRM의 142M 대비 약 30% 적은 파라미터를 사용했고, 전체 훈련 시간은 동일한 프로그레시브 스케줄 기준으로 논문 추정치에서 76시간→54시간으로 약 30% 단축되었다. 또한 TFLOPs와 GPU 메모리 사용량이 감소했고 예측 가우시안 수는 절반 수준으로 줄어들어 포스트-옵티마이제이션 실행 시간도 약 60% 빨라졌다.

기술 상세

전체 아키텍처는 기하 분지와 외형 분지로 분리되어 토큰 해상도와 네트워크 용량이 각 분지의 역할에 맞춰 비대칭으로 배치되었다. 기본 설정에서 패치 크기는 p_c=16, p_f=8이며 초기 임베딩 차원은 d_c=192, d_f=256이다. 기하 분지는 세 단계로 구성되며 각 단계의 채널은 {192,512,896}으로 증가하고 각 단계는 Nb=4개의 bidirectional Mamba 블록과 Na=4개의 어텐션 블록을 포함한다. 희소 어텐션은 입력 토큰을 2D 맵으로 재형성한 뒤 각 프레임별로 컨볼루션 정제 블록을 적용하고 p_g=2 격자로 파티셔닝하여 길이가 축소된 시퀀스에 self-attention을 적용하는 방식으로 작동한다. 이 처리 흐름은 입력-처리-출력의 관점에서 보면 입력 토큰 맵에서 지역 문맥을 컨볼루션으로 통합한 후 격자 단위의 재배열으로 연산 복잡도를 낮추고, 최종적으로 원래 토큰 순서로 복원해 downstream 블록에 전달하는 과정으로 요약된다. 학습은 프로그레시브 해상도 전략(256×256 → 512×512 → 540×960)을 채택했고 배치 사이즈는 각 스테이지에서 256, 64, 64로 설정되었다. 총 반복은 60k, 10k, 10k로 구성되었고 FlashAttention-2, gradient checkpointing, mixed-precision(BFloat16), deferred backpropagation 등을 활용해 메모리와 속도를 최적화했다. 가우시안 출력은 Conv3×3(stride=p_c/p_f)으로 융합된 토큰 맵에서 선형 디코더로 p_f^2개의 가우시안을 각 픽에 매핑해 최종 N개의 가우시안을 구성한다.

한계점

논문은 일반화 모델 특성상 LPIPS 지표에서 최적화 기반 방법보다 열위인 경향이 있음을 보고했다. 이 열위는 오류 기반 촘촘화(error-based densification)를 수행하는 최적화 루틴의 혜택을 받지 못하기 때문으로 제시되었다. 또한 상태공간 모듈(Mamba)에 과도하게 의존하면 다중-뷰 정합성 문제에서 성능 저하가 발생하므로 기하 분기에는 추가 어텐션과 희소 어텐션을 섞어 사용하는 설계적 균형이 필요하다고 논문에서 나타났다.

실무 활용

AsySplat은 장기 시퀀스와 고해상도 입력을 다루는 실무 파이프라인에서 모델 크기와 추론 시간을 줄이면서도 고품질 NVS를 달성할 수 있는 설계 사례를 제공한다. 공개된 코드는 연구 재현과 실제 데이터 파이프라인 통합에 활용 가능성이 있으며, 파라미터 예산이 제한된 환경에서 포스트-옵티마이제이션을 병행하는 워크플로에 적합하다. 실무에서의 직접 적용을 위해서는 제공된 GitHub 구현을 기준으로 하드웨어와 배치 크기별 최적화가 필요하다.

고해상도 다중-뷰 캡처 장면의 실시간 또는 준실시간 미리보기 렌더링 파이프라인 통합
제한된 GPU 메모리 환경에서의 경량한 3D 장면 재구성과 후처리 기반 품질 향상 워크플로
대규모 데이터셋으로 학습된 일반화 모델을 이용한 제로-샷 장면 렌더링 및 후속 최적화

코드 공개 여부: 공개

코드 저장소 보기

키워드

AsySplat(AsySplat)3D Gaussian Splatting(3D Gaussian Splatting)Sparse Attention(희소 어텐션)MambaVision(MambaVision)Pixel-aligned Unprojection(픽셀 정렬 역투영)

용어 해설

3D 가우시안 스플래팅(3D Gaussian Splatting): — 3D Gaussian Splatting은 장면을 위치와 불투명도, 스케일, 외형 파라미터를 가진 가우시안 분포들의 집합으로 표현하고, 이들을 투영·합성하여 새로운 시점의 이미지를 생성하는 방식이다. 각 가우시안은 화면상에서 알파 합성으로 결합되며 렌더링 품질은 가우시안의 분포와 알파 조합에 크게 의존한다. 이 표현은 실시간 렌더링과 최적화 효율에서 NeRF 계열보다 유리한 특성을 보이며 본문에서는 이 표현을 예측하는 일반화 모델을 다룬다.
희소 어텐션(Sparse Attention): — Sparse Attention은 전체 토큰 쌍에 대해 전부 계산하는 대신 토큰을 격자나 블록으로 분할해 축약된 시퀀스에서 자기어텐션을 수행하여 연산량을 줄이는 기법이다. 본문에서는 토큰 맵을 격자(p_g×p_g)로 나누고 재배열한 뒤 어텐션을 적용하여 훈련 시간과 메모리를 절감한다. 국소 문맥을 보존하기 위해 각 프레임별 컨볼루션 정제 단계를 병행한다는 점이 핵심이다.
픽셀 정렬 역투영(Pixel-aligned Unprojection): — Pixel-aligned Unprojection은 2D 이미지 상의 픽셀 정보를 카메라 깊이와 카메라 기하를 이용해 3D 공간의 위치로 역투영하여 장면 표현(예: 가우시안 속성)에 연결하는 기법이다. 이 방식은 다중 뷰의 픽셀-투-가우시안 대응을 가능하게 하여 3D 구성요소를 예측하는 데 사용된다. 본문에서는 가우시안 속성 예측을 위해 픽셀 정렬 역투영을 기반으로 속성을 할당한다.
MambaVision: — MambaVision은 Mamba 상태공간 모듈을 기반으로 하되 인과적 스캔을 표준 합성곱으로 대체하고 non-selective-scan 분기를 추가해 프레임 내 글로벌 표현 능력을 강화한 변형이다. 본문에서는 외형(appearance) 분지에서 intra-frame 처리로 세부 표현을 학습하는 데 이 모듈을 사용했다. 이 모듈은 bidirectional Mamba보다 학습 효율과 성능 균형에서 유리한 특성을 보였다.

AsySplat: 장기 시퀀스 장면 모델링을 위한 효율적 비대칭 3D Gaussian Splatting

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드