비디오 스트리밍 사고: 비디오 LLM은 시청과 사고를 동시에 수행할 수 있다

기존 비디오 LLM은 영상을 모두 시청한 후에야 추론을 시작하여 응답이 느렸으나, VST는 시청 중에 실시간으로 사고 과정을 수행하여 지연 시간을 획기적으로 단축했다. 이는 실시간 상호작용이 필수적인 로봇 공학이나 대화형 AI 비서의 성능을 한 단계 높일 수 있는 중요한 진전이다.

왜 중요한가

핵심 기여

VST(Video Streaming Thinking) 패러다임

비디오 스트림 입력과 명시적인 Chain-of-Thought 생성을 교차 배치하여, 추론에 필요한 연산 비용을 영상 재생 시간 동안 분산시키는 새로운 온라인 비디오 이해 패러다임을 확립했다.

2단계 포스트 트레이닝 파이프라인

오프라인 모델을 스트리밍 환경에 적응시키는 VST-SFT와 최종 답변의 정확도를 기반으로 중간 사고 과정을 최적화하는 VST-RL 단계를 도입하여 모델의 추론 능력을 극대화했다.

지식 그래프 기반 데이터 합성 파이프라인

비디오 내 개체와 관계를 지식 그래프로 모델링하고, 이를 통해 정보 누출이 없는 고품질의 스트리밍 추론 데이터셋 100K개를 자동으로 생성하는 체계를 구축했다.

이중 메모리 시스템 아키텍처

현재의 시각적 맥락을 유지하는 단기 네이티브 비디오 메모리와 과거 사건을 텍스트로 압축해 저장하는 장기 텍스트 시맨틱 메모리를 결합하여 효율적인 장기 비디오 이해를 실현했다.

핵심 아이디어 이해하기

기존의 VideoLLM은 영상 전체를 한꺼번에 처리하거나, 실시간으로 보더라도 질문이 들어온 시점에 모든 복잡한 사고(CoT)를 시작한다. 이는 Transformer의 Attention 연산이 특정 시점에 몰리게 하여 응답 지연을 유발하며, 인간이 영상을 보면서 실시간으로 상황을 파악하고 기억을 정리하는 방식과는 차이가 있다.

VST는 이러한 한계를 극복하기 위해 영상 클립이 들어올 때마다 즉시 '스트리밍 사고(Streaming Thought)'를 생성한다. 딥러닝의 Embedding과 Attention 메커니즘을 활용해 현재 클립의 핵심 의미를 추출하고, 이를 텍스트 형태의 장기 메모리에 즉각 저장한다. 질문이 도착했을 때는 이미 정리된 텍스트 메모리를 참조하여 즉시 답변을 내놓으므로, 연산 부하가 영상 재생 전체 구간으로 분산(Amortization)되는 효과를 얻는다.

이 접근 방식은 질문 후 추론 시간을 획기적으로 단축할 뿐만 아니라, 과거의 방대한 시각 정보를 텍스트로 압축하여 관리함으로써 메모리 효율성을 극대화한다. 결과적으로 모델은 영상을 시청하는 내내 '생각'을 지속하며, 긴 영상에서도 과거의 사건을 잊지 않고 논리적으로 연결하여 답변할 수 있게 된다.

방법론

VST 패러다임은 비디오 스트림을 이산적인 클립 $c^k$ 로 나누어 처리한다. 각 단계 $k$ 에서 모델은 현재 클립 $c^k$ 와 이전까지 축적된 텍스트 메모리 $m^{k-1}$ 을 입력으로 받아 현재의 의미를 요약한 사고 $z^k$ 를 생성한다. [현재 클립 + 이전 메모리 → LLM 추론 → 현재 사고 $z^k$ 생성 → 메모리 업데이트] 순으로 연산이 수행되며, 이는 질문 전까지 반복된다.

학습은 2단계로 구성된다. 1단계 VST-SFT는 스트리밍 어텐션 마스크를 적용하여 모델이 미래 정보를 보지 못하게 제한하며 전문가 데이터를 학습한다. [토큰 인덱스 i, j를 입력으로] → [시각 토큰 여부와 버퍼 크기 L을 기준으로 0 또는 -무한대 값을 할당하는 연산 수행] → [어텐션 마스크 행렬 생성] → [모델이 현재 시점 이후나 버퍼 밖의 시각 정보를 보지 못하게 차단]하는 원리이다.

2단계 VST-RL은 GRPO 전략을 사용하여 최종 답변의 정답 여부에 따라 보상을 부여한다. [생성된 답변과 정답을 입력으로] → [정답 여부에 따른 보상 함수 계산] → [전체 사고 궤적에 대한 Advantage 할당] → [답변에 도움이 되는 중간 사고를 생성하도록 가중치 갱신] 과정을 거쳐 모델의 추론 품질을 고도화한다.

주요 결과

온라인 비디오 이해 벤치마크인 StreamingBench에서 79.5%, OVO-Bench에서 59.3%를 기록하며 기존 SOTA 모델인 Streamforest(77.3%)를 능가했다. 특히 GPT-4o(73.3%)와 Gemini 1.5 Pro(75.7%) 같은 거대 상용 모델보다도 높은 성능을 보여 효율적인 스트리밍 사고의 위력을 입증했다.

오프라인 및 장기 비디오 벤치마크에서도 우수한 성과를 거두었다. VideoMME-long에서 55.3%, LongVideoBench에서 58.0%를 달성했으며, 복잡한 논리 추론을 평가하는 VideoHolmes에서는 41.9%를 기록하여 Video-R1 대비 +5.4%의 성능 향상을 나타냈다.

효율성 분석 결과, VST-7B는 Video-R1 대비 15.7배 빠른 응답 속도를 달성했다. 질문 후 답변까지의 지연 시간(QA Latency)은 0.56초에 불과하여, 사후 추론 방식을 사용하는 모델들의 수 초 단위 지연 시간과 비교해 실시간 상호작용에 훨씬 적합함을 확인했다.

기술 상세

VST는 인과적 스트리밍 추론을 위해 고정된 크기의 시각적 버퍼(Short-term Native Visual Memory)와 가변적인 텍스트 메모리(Long-term Textual Semantic Memory)를 결합한 듀얼 메모리 구조를 채택했다. 시각적 버퍼는 최신 프레임의 세부 정보를 유지하고, 텍스트 메모리는 과거의 사건을 추상화하여 저장함으로써 연산 효율성을 높인다.

스트리밍 어텐션 마스크는 수식 $M_{i,j}$ 를 통해 정의되며, 모델이 현재 윈도우 내의 시각적 토큰과 과거의 모든 텍스트 토큰에만 접근할 수 있도록 강제한다. 이는 추론 시점의 인과 관계를 엄격히 준수하게 하여 모델이 미래 정보를 미리 보고 답하는 정보 누출(Information Leakage)을 원천 차단한다.

VST-RL 단계에서는 검증 가능한 보상(Verifiable Rewards)을 활용한다. 중간 사고 과정 자체에 주관적인 점수를 매기는 대신, 최종 답변의 정확도라는 객관적 지표를 전체 사고 궤적에 역전파하여 모델이 정답을 도출하는 데 실질적으로 도움이 되는 사고 방식을 스스로 학습하도록 유도한다.

아키텍처는 Qwen2.5-VL을 베이스 모델로 사용하며, 3B에서 32B까지 파라미터 규모에 관계없이 일관된 성능 향상을 보여 모델 확장성(Scalability)을 입증했다. 또한 추론 시 사고 생성 횟수를 제한하는 전략을 통해 성능과 효율성 사이의 균형을 맞추었다.

한계점

스트리밍 사고 생성 과정에서 추가적인 LLM 토큰 소비가 발생하며, 이는 전체 시스템의 운영 비용 측면에서 고려해야 할 요소이다. 또한 현재는 텍스트 기반 메모리 관리에 집중하고 있어, 기존의 시각적 특징 기반 메모리 메커니즘과의 시너지 효과에 대한 추가적인 연구가 필요하다.

실무 활용

실시간 영상 분석과 즉각적인 피드백이 필요한 엣지 디바이스 및 대화형 AI 시스템에 즉시 적용 가능한 실용적인 기술이다.

실시간 CCTV 분석을 통한 위험 상황 및 이상 징후 즉각 알림 시스템
사용자의 동작을 실시간으로 모니터링하고 가이드하는 AI 홈 트레이닝 서비스
자율 주행 로봇의 주변 상황 실시간 판단 및 즉각적인 경로 수정 보조
긴 라이브 스트리밍 영상의 실시간 요약 및 시청자 질의응답 봇

코드 공개 여부: 공개

코드 저장소 보기

키워드

VideoLLM(비디오 대형 언어 모델)Streaming Thinking(스트리밍 사고)CoT(사고의 사슬)Real-time Inference(실시간 추론)Reinforcement Learning(강화학습)

용어 해설

스트리밍 인지(Streaming Perception): — 데이터가 입력되는 즉시 실시간으로 정보를 처리하고 이해하는 능력이다. 전체 데이터를 모두 수신한 후 처리하는 오프라인 방식과 달리, 데이터 유입과 동시에 분석을 수행하여 지연 시간을 최소화하는 것이 핵심이다.
신경 결합(Neural Coupling): — 외부 정보의 유입과 뇌의 논리적 흐름이 밀접하게 동기화되는 생물학적 현상이다. 뇌가 실시간 신호를 인지하고 이를 기존 지식과 합성하여 일관된 이해를 형성하는 원리로, 본 논문의 실시간 사고 메커니즘의 영감이 되었다.
분할 상환 추론(Amortized Inference): — 특정 시점에 집중되는 계산 부하를 전체 처리 과정에 골고루 분산시키는 기법이다. 질문이 들어온 뒤에 모든 추론을 수행하는 대신, 영상 시청 중에 미리 추론을 수행함으로써 최종 응답 시점의 지연 시간을 획기적으로 줄인다.
지식 그래프(Knowledge Graph): — 개체와 그들 사이의 관계를 노드와 간선으로 연결하여 구조화한 지식 베이스이다. 비디오 내의 사건, 등장인물, 사물 간의 인과 관계와 시간적 순서를 논리적으로 모델링하여 고품질 학습 데이터를 생성하는 데 사용된다.

비디오 스트리밍 사고: 비디오 LLM은 시청과 사고를 동시에 수행할 수 있다

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

StreamArena와 StreamMind

AutoGaze: 비디오 이해 모델을 위한 시공간적 중복성 제거 및 가속화

주석을 정답 rollout으로 쓰는 비디오 강화학습

MOSS-VL 실시간 상호작용 기술 보고서

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

StreamArena와 StreamMind

AutoGaze: 비디오 이해 모델을 위한 시공간적 중복성 제거 및 가속화

주석을 정답 rollout으로 쓰는 비디오 강화학습

MOSS-VL 실시간 상호작용 기술 보고서