AsySplat: 장기 시퀀스 장면 모델링을 위한 효율적 비대칭 3D Gaussian Splatting

장면 표현을 가우시안으로 구성하는 최근 연구들은 장면당 최적화 비용이 커서 장기 시퀀스와 고해상도 입력에 확장하기 어려운 문제가 있었다. AsySplat은 기하(geometry)와 외형(appearance)을 서로 다른 해상도 및 계산 예산으로 분리해 중복 연산을 줄임으로써 작은 모델로도 높은 렌더링 품질을 달성할 수 있게 했다. 이러한 접근은 장기 시퀀스 기반의 실시간 또는 저비용 파이프라인에서 모델 크기와 추론 시간을 동시에 개선할 실용적 가능성을 제공한다.

Transformer 계열과 유사한 패치화(tokenization) 기반의 스택형 네트워크는 입력 패치 수가 많아질수록 토큰 간 상호작용 비용이 기하급수적으로 증가한다. 특히 긴 시퀀스와 고해상도 입력에서는 토큰 길이 증가가 연산·메모리 병목을 야기하여 작은 모델로 고품질 NVS를 얻기 어렵게 만든다. 이러한 근본적 병목이 계산의 중복성(redundant computation)을 발생시키는 원인으로 작용했다. AsySplat은 두 가지 관찰에서 출발했다. 첫째, 고정밀의 기하 정보가 항상 고품질 렌더링에 필수는 아니다는 점이다. 렌더링 품질은 다수의 가우시안의 알파 합성(alpha compositing)에 크게 의존하기 때문에 거친 깊이 정보로도 시각 품질을 얻을 수 있다. 둘째, 외형 속성(색·SH 등)은 한 번의 깊이 추정 후 픽셀 정렬된 RGB 근거를 가우시안에 할당하면 상대적으로 학습이 쉬워 intra-frame 처리만으로도 세부를 복원할 수 있다. 이 두 관찰을 기반으로 AsySplat은 토큰 해상도와 계산 예산을 비대칭으로 배분했다. 기하 분지는 큰 패치(p_c)로 토큰 수를 줄이고 다중-뷰 매칭을 집중 처리하여 파라미터를 더 투입함으로써 교차-프레임 대응 능력을 확보했다. 외형 분지는 작은 패치(p_f)로 세부 토큰을 유지하되 intra-frame 전용 경량 모듈(MambaVision)을 사용해 연산 부담을 낮추었다. 양 분지는 양방향 교차-어텐션을 통해 기하 정보와 외형 세부를 교환하여 최종 가우시안 예측으로 합쳐진다.

전체 흐름은 두 분지(geometry branch, appearance branch)로 입력을 분기하는 것에서 시작한다. 입력 이미지들에 대해 각 프레임의 Plücker ray 정보를 결합한 뒤 두 가지 패치 크기(p_c=16, p_f=8)로 토큰화하여 coarse-grained 토큰 C^0와 fine-grained 토큰 F^0를 생성한다. 이후 기하 분지는 V·H·W/p_c^2 길이의 시퀀스를 받아 세 단계의 계층적 스테이지를 거쳐 Mamba와 Sparse Attention 블록을 조합해 inter-frame 매칭을 수행한다. 각 기하 스테이지는 먼저 Nb개의 bidirectional Mamba 블록으로 장기 문맥을 효율적으로 집계한 뒤 Na개의 SparseAttn 레이어로 정제한다. Sparse Attention은 토큰을 2D 맵으로 재형성하고 각 프레임별로 컨볼루션 정제를 수행한 후 p_g×p_g 격자로 분할해 재배열한 축약 시퀀스에서 self-attention을 수행하고 다시 원형태로 복원하는 방식으로 작동한다. 이 모듈은 전체 토큰 길이에서의 제곱 복잡도를 피하면서도 지역-전역 문맥을 보존하도록 설계되었다. 외형 분지는 프레임 내에서만 연산을 수행하도록 설계되어 시퀀스 길이가 뷰 수 V에 선형적으로 확장되는 영향을 받지 않는다. 각 스테이지는 MambaVision 블록을 연속으로 쌓아 per-frame 표현을 강화하고, 단계별로 산출된 토큰은 양방향 연결 모듈을 통해 기하 분지와 교차-어텐션 및 self-attention 흐름으로 정보를 교환한다. 최종적으로 Coarse와 Fine 출력을 Conv3×3(stride=p_c/p_f)로 융합해 픽셀-정렬된 가우시안 파라미터 맵을 얻고 각 픽에 대해 p_f^2개의 가우시안을 디코딩해 최종 장면 표현을 완성한다.

AsySplat은 32-view 960P 입력 설정에서 최적화 기반 3DGS 방법과 유사한 렌더링 품질을 달성하면서 추론 시간에서 큰 개선을 보였다. 논문은 feed-forward 단독 실행 시 AsySplat의 추론 시간이 1초 미만인 반면 전통적 최적화 기반 3DGS는 수 분 단위(예: 13분)를 요구했다고 보고했다. 또한 포스트-옵티마이제이션을 10회 수행한 설정에서는 AsySplat이 18초, 일부 최적화 기반 방법은 수십 초 이상 소요되어 동일 시간 예산 대비 더 높은 PSNR을 얻을 수 있음을 보였다. 제로-샷 일반화 측면에서 AsySplat은 Tanks&Temples, MipNeRF-360, Deep Blending, Replica 등 여러 벤치마크에서 LongLRM 대비 동일 또는 더 우수한 PSNR과 SSIM을 기록했다. Replica 합성 데이터에서는 LongLRM(0 iter) 대비 AsySplat(0 iter)이 25.89→27.46 PSNR로 우위를 보였고, 포스트-옵티마이제이션 10회 기준에서는 28.37→30.83 PSNR로 더 큰 격차를 기록했다. 이 결과는 파라미터 효율적 계산 배분이 다양한 장면 유형에 대해 실제 품질 이득으로 연결됨을 시사한다. 효율성 분석에서 AsySplat은 모델 파라미터를 98M으로 줄여 LongLRM의 142M 대비 약 30% 적은 파라미터를 사용했고, 전체 훈련 시간은 동일한 프로그레시브 스케줄 기준으로 논문 추정치에서 76시간→54시간으로 약 30% 단축되었다. 또한 TFLOPs와 GPU 메모리 사용량이 감소했고 예측 가우시안 수는 절반 수준으로 줄어들어 포스트-옵티마이제이션 실행 시간도 약 60% 빨라졌다.

전체 아키텍처는 기하 분지와 외형 분지로 분리되어 토큰 해상도와 네트워크 용량이 각 분지의 역할에 맞춰 비대칭으로 배치되었다. 기본 설정에서 패치 크기는 p_c=16, p_f=8이며 초기 임베딩 차원은 d_c=192, d_f=256이다. 기하 분지는 세 단계로 구성되며 각 단계의 채널은 {192,512,896}으로 증가하고 각 단계는 Nb=4개의 bidirectional Mamba 블록과 Na=4개의 어텐션 블록을 포함한다. 희소 어텐션은 입력 토큰을 2D 맵으로 재형성한 뒤 각 프레임별로 컨볼루션 정제 블록을 적용하고 p_g=2 격자로 파티셔닝하여 길이가 축소된 시퀀스에 self-attention을 적용하는 방식으로 작동한다. 이 처리 흐름은 입력-처리-출력의 관점에서 보면 입력 토큰 맵에서 지역 문맥을 컨볼루션으로 통합한 후 격자 단위의 재배열으로 연산 복잡도를 낮추고, 최종적으로 원래 토큰 순서로 복원해 downstream 블록에 전달하는 과정으로 요약된다. 학습은 프로그레시브 해상도 전략(256×256 → 512×512 → 540×960)을 채택했고 배치 사이즈는 각 스테이지에서 256, 64, 64로 설정되었다. 총 반복은 60k, 10k, 10k로 구성되었고 FlashAttention-2, gradient checkpointing, mixed-precision(BFloat16), deferred backpropagation 등을 활용해 메모리와 속도를 최적화했다. 가우시안 출력은 Conv3×3(stride=p_c/p_f)으로 융합된 토큰 맵에서 선형 디코더로 p_f^2개의 가우시안을 각 픽에 매핑해 최종 N개의 가우시안을 구성한다.

논문은 일반화 모델 특성상 LPIPS 지표에서 최적화 기반 방법보다 열위인 경향이 있음을 보고했다. 이 열위는 오류 기반 촘촘화(error-based densification)를 수행하는 최적화 루틴의 혜택을 받지 못하기 때문으로 제시되었다. 또한 상태공간 모듈(Mamba)에 과도하게 의존하면 다중-뷰 정합성 문제에서 성능 저하가 발생하므로 기하 분기에는 추가 어텐션과 희소 어텐션을 섞어 사용하는 설계적 균형이 필요하다고 논문에서 나타났다.