탄성 테스트 타임 트레이닝을 활용한 고속 공간 메모리

기존의 3D/4D 재구성 모델은 긴 영상 시퀀스를 처리할 때 메모리 부족이나 과거 정보를 잊어버리는 문제에 직면했습니다. 이 논문은 지속적 학습 기법을 도입하여 긴 시퀀스에서도 안정적으로 공간 정보를 기억하고 새로운 시점의 영상을 생성하는 효율적인 아키텍처를 제시합니다.

기존의 Test-Time Training(TTT)은 추론 중에 모델의 가중치를 실시간으로 업데이트하여 새로운 데이터에 적응하지만, 시퀀스가 길어질수록 가중치가 너무 많이 변해버리는 '가중치 드리프트' 현상이 발생한다. 이는 마치 새로운 정보를 배우려다 예전에 배운 중요한 공간 구조를 잊어버리는 것과 같다. 특히 4D 재구성에서는 카메라 경로가 길어질수록 특정 구간에만 과적합되어 전체적인 장면의 일관성이 깨지는 문제가 발생한다.

이 논문은 지속적 학습(Continual Learning)에서 사용하는 탄성 가중치 통합(EWC) 개념을 TTT에 결합했다. 핵심 원리는 가중치 업데이트 시 '중요한 가중치'가 기준점(Anchor)에서 너무 멀어지지 않도록 스프링처럼 잡아주는 탄성 제약 조건을 추가하는 것이다. 이를 통해 모델은 새로운 시각적 정보를 빠르게 학습하면서도, 이전에 파악한 장면의 전반적인 구조를 안정적으로 유지할 수 있다.

결과적으로 모델은 메모리 사용량을 일정하게 유지하면서도 이론적으로 무한히 긴 영상 시퀀스를 처리할 수 있게 된다. 이는 고해상도 4D 장면 재구성에서 발생하는 메모리 병목 문제를 해결하고, 시공간적으로 일관된 고품질의 영상 생성을 가능하게 한다.

LaCET 블록은 입력 데이터를 청크(Chunk) 단위로 처리하며, 각 청크마다 가중치 업데이트(Update), 통합(Consolidate), 적용(Apply)의 세 단계를 거친다. 업데이트 단계에서는 현재 청크의 Key-Value 관계를 학습하기 위해 가중치를 미세 조정한다. [입력 토큰 x → Key/Value 투영 → 손실 함수 계산 → 가중치 기울기 도출] 과정을 통해 빠른 가중치(Fast Weights) θ를 갱신한다.

통합 단계에서는 EWC 정규화 알고리즘을 사용하여 가중치의 급격한 변화를 억제한다. [현재 가중치 θ'와 앵커 가중치 θ*의 차이 계산 → Fisher 정보 행렬 기반 중요도 가중치 곱셈 → 가중치 보정] 순으로 연산이 수행된다. 이는 중요한 파라미터가 기준점에서 멀어지는 것에 페널티를 부여하여 모델의 안정성을 높이는 역할을 한다.

앵커 업데이트는 Streaming-EMA 방식을 채택했다. [이전 앵커 θ*와 현재 가중치 θ의 가중 평균 계산 → 새로운 앵커 설정] 과정을 통해 앵커가 가중치의 궤적을 부드럽게 따라가도록 한다. 이는 저주파 필터(Low-pass filter)와 같은 역할을 하여 급격한 노이즈는 차단하고 장기적인 장면의 변화는 수용하게 한다.

최종적으로 FSM은 이미지 토크나이저를 통해 입력 영상을 토큰화하고, Plücker 레이 맵과 타임스탬프 정보를 결합하여 시공간 정보를 인코딩한다. 이후 LaCET 백본을 거쳐 추출된 특징은 LVSM 또는 LRM 스타일의 디코더를 통해 최종적인 4D 장면으로 렌더링된다.

Stereo4D 및 NVIDIA 벤치마크에서 기존 SOTA 모델들을 상회하는 성능을 기록했다. 특히 Stereo4D 데이터셋에서 FSM-LVSM 모델은 PSNR 32.16, SSIM 0.931을 달성하여 최신 최적화 기반 모델 및 렌더링 기반 모델들보다 뛰어난 화질을 보여주었다. 이는 모델이 긴 시퀀스에서도 시공간적 일관성을 잘 유지하고 있음을 의미한다.

Ablation Study 결과, EWC와 Streaming-EMA를 결합했을 때 가장 높은 성능 향상이 나타났다. 일반적인 LaCT 모델은 청크 수가 늘어날수록 성능이 급격히 하락하는 반면, LaCET는 청크를 나누어 처리함에도 불구하고 단일 청크 모델에 근접하거나 이를 능가하는 안정성을 보였다. 이는 메모리 효율성과 성능 사이의 트레이드오프를 성공적으로 해결했음을 입증한다.

또한, 카메라 포즈 보간(Interpolation) 숏컷 문제를 효과적으로 억제했다. 기존 모델들이 단순히 인접 프레임을 복사하려는 경향이 있는 것과 달리, LaCET는 실제 3D 구조를 이해하고 시점을 추론하는 능력이 더 뛰어남이 확인됐다. 이는 입력 뷰가 희소한(Sparse) 상황에서도 높은 재구성 품질을 유지하는 결과로 이어졌다.

FSM 아키텍처는 SwiGLU-MLP 구조를 빠른 가중치 네트워크로 사용하며, 편향(Bias) 항을 제거하여 학습 효율을 높였다. 입력 데이터는 10채널 특징 맵(RGB 3 + Plücker Ray 6 + Timestamp 1)으로 구성되어 시공간 정보를 동시에 수용한다. 어텐션 메커니즘에는 QK-Norm을 적용하여 긴 시퀀스 학습 시의 수치적 안정성을 확보했다.

수학적으로 LaCET의 핵심은 Fisher 정보 행렬 F를 온라인으로 추정하는 것이다. 각 파라미터의 중요도는 그래디언트의 제곱값에 대한 지수 이동 평균으로 계산되며, 이는 손실 함수의 국소 곡률(Local curvature)을 근사한다. 이 중요도 맵을 통해 모델은 장면의 정적인 배경과 동적인 객체를 구분하여 가중치 업데이트 강도를 조절할 수 있게 된다.

구현 측면에서 LVSM 스타일 디코더는 가벼운 선형 헤드를 사용하여 직접 패치를 예측하며, LRM 스타일은 4D 가우시안 스플래팅(4DGS) 프리미티브를 생성한다. 4DGS 모드에서는 타일 기반 래스터화와 지연 역전파(Deferred backpropagation) 기술을 사용하여 GPU 메모리 소모를 최소화했다. 학습 과정에서는 128x128 해상도에서 시작하여 256x256으로 점진적으로 높이는 커리큘럼 학습을 적용했다.

매우 큰 카메라 이동이나 시점 변화가 발생할 경우 피사체의 움직임을 일관되게 업데이트하지 못하고 잔상(Ghosting)이 남는 경우가 발생한다. 또한 현재 모델은 포즈가 제공된 이미지를 전제로 하며, 포즈가 없는 야생의 영상에서 직접 카메라 파라미터를 추정하는 기능은 포함되어 있지 않다. 렌더링 기반 감독 학습만으로는 완벽한 기하학적 정확도를 보장하기 어려워 광학 흐름(Optical flow)이나 깊이(Depth) 정보와 같은 추가적인 기하학적 제약 조건이 필요할 수 있다.