Spatial-TTT: 테스트 타임 트레이닝을 활용한 스트리밍 시각 기반 공간 지능

인간은 시각적 관찰의 흐름을 통해 실제 세계의 공간을 인식하고 이해합니다. 따라서 잠재적으로 무한한 비디오 스트림에서 공간적 증거(spatial evidence)를 스트리밍 방식으로 유지하고 업데이트하는 능력은 공간 지능(spatial intelligence)에 필수적입니다. 핵심 과제는 단순히 컨텍스트 창(context windows)을 늘리는 것이 아니라, 시간이 지남에 따라 공간 정보를 어떻게 선택, 조직 및 유지하느냐 하는 점입니다. 본 논문에서는 테스트 타임 트레이닝(test-time training, TTT)을 통해 스트리밍 시각 기반 공간 지능을 구현하는 Spatial-TTT를 제안합니다. 이 모델은 파라미터의 일부인 가변 가중치(fast weights)를 조정하여 장기 장면 비디오에서 공간적 증거를 포착하고 조직합니다. 구체적으로, 효율적인 공간 비디오 처리를 위해 슬라이딩 윈도우 어텐션(sliding-window attention)과 병렬로 작동하는 대규모 청크 업데이트(large-chunk updates)를 채택한 하이브리드 아키텍처를 설계했습니다. 공간 인식을 더욱 촉진하기 위해 3D 시공간 컨볼루션(3D spatiotemporal convolution)이 적용된 TTT 레이어에 공간 예측 메커니즘(spatial-predictive mechanism)을 도입하여, 모델이 프레임 간의 기하학적 대응 관계와 시간적 연속성을 포착하도록 유도했습니다. 아키텍처 설계 외에도 밀집된 3D 공간 묘사(dense 3D spatial descriptions)가 포함된 데이터셋을 구축하여, 모델이 가변 가중치를 업데이트함으로써 전역적인 3D 공간 신호를 구조화된 방식으로 암기하고 조직하도록 안내했습니다. 광범위한 실험을 통해 Spatial-TTT가 장기 공간 이해 능력을 향상시키고 비디오 공간 벤치마크에서 최첨단(state-of-the-art) 성능을 달성함을 입증했습니다.