OmniStream: 연속 스트림에서의 인지, 재구성 및 행동 마스터하기

현대의 시각 에이전트(visual agents)가 실시간 스트리밍 환경에서 작동하기 위해서는 일반적이고, 인과적이며, 물리적으로 구조화된 표현(representations)이 필요합니다. 그러나 현재의 비전 기반 모델(vision foundation models)은 이미지 의미론적 인지(semantic perception), 오프라인 시계열 모델링(temporal modeling), 또는 공간 기하학(spatial geometry) 중 하나에만 좁게 특화되어 파편화된 상태로 남아 있습니다. 본 논문은 다양한 시각적 입력으로부터 효과적으로 인지하고, 재구성하며, 행동하는 통합 스트리밍 비전 백본(streaming visual backbone)인 OmniStream을 소개합니다. 인과적 시공간 어텐션(causal spatiotemporal attention)과 3D 회전 위치 임베딩(3D rotary positional embeddings, 3D-RoPE)을 통합함으로써, 우리 모델은 지속적인 KV-캐시(persistent KV-cache)를 통해 비디오 스트림의 효율적인 프레임별 온라인 처리를 지원합니다. 우리는 정적 및 시계열 표현 학습, 스트리밍 기하학적 재구성(geometric reconstruction), 그리고 시각-언어 정렬(vision-language alignment)을 결합한 시너지 효과를 내는 멀티태스크 프레임워크를 사용하여 29개의 데이터셋에서 OmniStream을 사전 학습시켰습니다. 광범위한 평가 결과, OmniStream은 백본을 엄격하게 고정한 상태에서도 이미지 및 비디오 프로빙(probing), 스트리밍 기하학적 재구성, 복잡한 비디오 및 공간 추론뿐만 아니라 학습 시 보지 못한 로봇 조작(robotic manipulation) 분야에서 전문 모델들과 대등한 경쟁력 있는 성능을 달성했습니다. 특정 벤치마크의 우위를 추구하기보다, 본 연구는 의미론적, 공간적, 시계열적 추론 전반에 걸쳐 일반화되는 단일하고 다재다능한 비전 백본을 학습시키는 것의 타당성을 입증하며, 이는 상호작용 및 체화된 에이전트(embodied agents)를 위한 범용 시각 이해를 향한 의미 있는 진전입니다.