TL;DR
연속적이고 장시간인 멀티모달 영상 스트림에서는 기존 MLLM의 유한한 컨텍스트 창 때문에 중요한 과거 정보가 손실되어 반복적 추론과 다중 검색 호출로 이를 보상하는 방식이 일반적이었다. 이 논문은 전역 문맥을 유지하고 쿼리·메모리 분포를 잠복 공간에서 정렬함으로써 반복적 추론을 제거하고 실시간 반사적 응답을 가능하게 했다. 그 결과 기존의 추론 중심 에이전트 대비 지연과 메모리 사용량을 크게 줄이면서 정확도를 개선하는 실험적 근거가 확보되었다.
왜 중요한가
연속적이고 장시간인 멀티모달 영상 스트림에서는 기존 MLLM의 유한한 컨텍스트 창 때문에 중요한 과거 정보가 손실되어 반복적 추론과 다중 검색 호출로 이를 보상하는 방식이 일반적이었다. 이 논문은 전역 문맥을 유지하고 쿼리·메모리 분포를 잠복 공간에서 정렬함으로써 반복적 추론을 제거하고 실시간 반사적 응답을 가능하게 했다. 그 결과 기존의 추론 중심 에이전트 대비 지연과 메모리 사용량을 크게 줄이면서 정확도를 개선하는 실험적 근거가 확보되었다.
핵심 기여
Dual contextual states로 반복적 추론을 대체하는 프레임워크 설계
논문은 비파라메트릭 전역 상태와 파라메트릭 잠복 상태의 결합으로 구성된 Light-Omni 프레임워크를 제안했다. 전역 상태는 계층적 병합으로 장기 맥락을 압축해 제공하고 잠복 상태는 단일 순전파에서 행동 트리거와 검색 임베딩을 직접 생성한다. 이 설계는 반복적 reasoning을 피하면서도 의미적으로 정렬된 검색과 즉시 반응 가능한 행동 결정을 동시에 지원한다.
resolution-decaying 계층적 병합으로 장기 메모리의 확장성 확보
에피소드 스크립트들을 레벨별로 k=8 기준으로 병합하는 resolution-decaying 전략을 도입해 전역 상태의 크기를 제한했다. 병합은 N_i ≥ k+1일 때만 수행되어 최신 노드는 보존되며, 이로 인해 장기 상호작용 시에도 전역 상태의 토픽 수가 로그 축척 수준으로 완만하게 증가한다. 결과적으로 논문은 수개월 규모의 상호작용에서도 메모리 오버플로우를 피할 수 있음을 보였다.
잠복 상태에서 soft prompt와 projection head로 직접 검색 임베딩 생성
입력에 학습 가능한 soft prompt를 접미사로 추가하고 백본의 히든 출력을 task-specific head로 병렬 디코딩해 retrieval embedding(z_ret)과 action trigger(p_act)를 얻는다. z_ret는 원래 검색 임베딩에 더해져 쿼리-메모리 분포의 의미적 불일치를 바로잡는다. 이 방식은 텍스트 기반 RAG에서 발생하는 분포 간격을 잠복 공간에서 보정함으로써 노이즈에도 강한 검색을 가능하게 했다.
대조적 정렬 손실과 Multi-LoRA 기반의 학습 전략
반응 어댑터는 교차엔트로피와 contrastive retrieval alignment를 결합한 혼합 손실로 학습되며 하이퍼파라미터 λ는 논문에서 2로 설정되었다. 메모리화·생성·반응 작업의 최적화 충돌을 완화하기 위해 기능별 LoRA 어댑터를 도입하고 상태에 따라 어댑터를 전환하는 multi-LoRA 설계를 사용했다. 이러한 공동 최적화는 백본과 잠복 검색 표현을 함께 학습하는 것을 가능하게 했다.
전처리·워크플로 최적화로 응답 지연과 메모리 비용 절감
실시간 지연을 줄이기 위해 feature caching으로 중복 인코딩을 제거하고 temporal redundancy pruning으로 유사한 토큰을 동적으로 정리하는 최적화를 도입했다. 이들 최적화는 누적하여 논문에서 보고된 바와 같이 추론 지연을 약 42% 감소시켰으며 성능 저하 없이 오히려 약간의 정확도 향상이 관찰되었다. 최종 시스템은 상호작용 응답 호출을 단일화함으로써 반복적 에이전트 대비 큰 속도·메모리 이점을 확보했다.
핵심 아이디어 이해하기
장기 멀티모달 영상 스트림에서의 핵심 문제는 유한한 컨텍스트 창으로 인해 과거 정보가 단편화되고 쿼리-메모리 분포 간 의미적 불일치가 발생한다는 점이다. 기존 추론 중심 에이전트는 이 불일치를 반복적 reasoning과 도구 호출로 보상했는데, 이 접근은 반복 호출에 따른 지연과 메모리·비용 부담을 크게 증가시켰다. 따라서 근본적 해결책은 반복적 보정 대신 지속적이고 요약된 전역 문맥과 쿼리 자체를 정렬하는 메커니즘이다.
관련 Figure
좌측 패널은 반복적 reasoning이 검색과 증거 집계를 위해 여러 단계의 호출을 요구해 지연과 국소적 비전 문제를 유발함을 나타낸다. 우측 패널은 Light-Omni가 전역 상태와 잠복 상태를 결합해 의미적 정렬을 달성하고 거의 일정한 지연을 유지하면서 장기 벤치마크에서 우수한 성능을 나타낸다는 결과를 보여준다. 이 그림은 논문의 핵심 직관인 ‘전역 문맥+잠복 임베딩으로 반복 추론을 대체’한다는 주장과 직접적으로 연결된다.
Figure 1은 기존의 반복적 추론 기반 영상 에이전트와 Light-Omni의 설계 및 성능 대비를 한장으로 요약해 보여준다.
방법론
Light-Omni는 실시간 반사(Real-time Reflex)와 수면 시간 Consolidation의 두 흐름으로 설계되어 전역 상태와 잠복 상태를 분리 운영한다. 입력 시에는 백본 πθ에 전역 상태 S_g, 현재 입력 I_t, 학습된 soft prompt를 연결하여 한 번의 순전파로 히든 특성 H^t를 얻고, 해당 히든에서 별도 헤드를 통해 retrieval embedding z_ret와 행동 트리거 확률 p_act를 병렬로 출력한다. 학습 단계에서는 반응 어댑터에 대해 교차엔트로피 손실과 대조적 정렬 항을 결합한 손실을 사용해 z_ret가 메모리 임베딩 k^+와 가까워지도록 최적화하며 하이퍼파라미터 λ=2, temperature τ를 이용해 대비를 제어했다.
관련 Figure
상단 패스는 스트리밍 입력을 세그먼트로 처리하고 soft token을 포함한 입력을 MLLM에 전달해 즉시 latent state를 생성하는 흐름을 나타낸다. 하단 패스는 에피소딕 메모리를 CRUD 연산으로 관리하고 계층적 집계를 통해 global state를 갱신하는 sleep-time consolidation 과정을 나타낸다. 다이어그램은 soft prompt의 역할, z_ret와 p_act의 병렬 출력, 그리고 resolution-decaying 병합 규칙(k=8)을 아키텍처 수준에서 연결한다.
Figure 2는 Light-Omni 전체 아키텍처를 실시간 반사 경로와 수면 시간 통합 경로로 나누어 도식화한 아키텍처 다이어그램이다.
그래프는 semantic 항목 수가 증가할수록 LVBench에서 정확도가 안정적으로 개선되며 plateau가 N_s≈12 부근에서 형성된다는 사실을 보여준다. 반면 episodic 항목은 VideoMME-long에서는 이득이 이어지지만 LVBench에서는 N_e>4에서 오히려 성능 저하가 발생해 과도한 에피소드 검색이 잡음으로 작용함이 관찰된다. 이 결과는 논문이 기본값으로 N_s=12, N_e=4를 채택한 근거와 일치한다.
Figure 7는 semantic(N_s)와 episodic(N_e) 검색 항목 수 변화에 따른 벤치마크별 정확도 변화를 라인 플롯으로 제시한다.
주요 결과
광범위한 벤치마크에서 Light-Omni는 반복적 reasoning 기반 에이전트 대비 유의미한 성능·효율 이득을 기록했다. 논문은 Light-Omni가 M3-Agent 대비 평균 정확도에서 +2.4%, 응답 속도에서 12.1×의 가속, GPU 메모리 효율에서 2.6×의 개선을 달성했다고 보고했으며, Qwen2.5-Omni-7B 기반 대비로는 +9.5% 정확도, 20.5× 속도향상, 3.3× 메모리 축소를 기록했다고 명시되었다. 잠복 상태와 전처리 최적화의 결합으로 실험에서는 상호작용 응답 총 지연이 약 2.28초(검색 0.76s + 응답 1.52s) 수준으로 유지되었고 평균 응답 지연은 논문에서 2.37초로 보고되어 비디오 길이에 따라 거의 일정한 응답 시간을 보였다.
관련 Figure
그래프는 기본(Base) 대비 캐싱 적용으로 지연이 약 8% 감소하고, 캐싱과 프루닝을 함께 적용하면 최종적으로 지연이 누적하여 약 42% 감소함을 수치로 나타낸다. 정확도는 최적화 적용 후에도 유지되거나 소폭 상승하는 경향을 보였으며 이 결과는 실시간 응답성 개선이 성능 저하를 동반하지 않음을 실험적으로 확인한 근거가 된다. 이 그림은 논문의 효율화 전략이 실용적 개선을 가져왔음을 뒷받침한다.
Figure 3은 효율화 기법(feature caching, redundancy pruning)이 응답 지연과 정확도에 미치는 영향을 막대그래프로 제시한다.
그래프는 Video-MMElong, LVBench, HippoVlog 등에서 Light-Omni가 전반적으로 가장 높은 또는 상위권 성능을 기록함을 보여준다. 특히 전체 평균(Overall)에서 Light-Omni가 타 모델 대비 우위를 차지하고 있음을 시각적으로 확인할 수 있다. 이 결과는 논문 본문에서 제시한 성능 우위(예: Qwen2.5 대비 9.5% 향상 등)와 일관된다.
Figure 4는 여러 장기 비디오 벤치마크에서 Light-Omni와 비교 모델들의 정확도를 비교한 막대그래프이다.
원시(Raw) 대비 텍스트 노이즈와 오디오 노이즈 조건에서 RAG와 RAG-Rewrite는 정확도 하락폭이 컸으나 Light-Omni는 오디오 노이즈에서 약 1.3%의 하락에 그치는 등 상대적으로 강인한 내성을 보였다. 그림은 잠복 상태 기반의 임베딩 정렬이 노이즈에 민감한 텍스트 기반 검색보다 견고함을 시사한다. 또한 논문 본문에 제시된 SNR 비교(1.352 vs 1.201)와 정성적으로 일치한다.
Figure 5는 LVBench에서 입력에 텍스트 잡음과 오디오 잡음을 주입했을 때 RAG 계열과 Light-Omni의 정확도 변화를 비교한 그래프다.
기술 상세
전체 아키텍처는 전역 상태 S_g와 잠복 상태 S_l을 중심으로 구성되며 멀티모달 장기 메모리 𝓜은 사용자 프로파일, 의미 메모리(semantic), 에피소드 메모리(episodic)로 분해된다. 전역 상태는 에피소드 스크립트들을 레벨별로 병합하는 Update/Merge 규칙으로 구성되며 병합 계수 k는 논문에서 실험적으로 k=8로 설정되어 N_i ≥ k+1일 때 가장 오래된 k 노드를 상위 노드로 통합한다. 잠복 상태는 입력 [S_g, I_t, P_soft]를 백본 πθ로 한 번 처리하여 H^t를 얻고, h_ret^t는 MLP-ReLU-MLP(Pro)로 D' 차원 임베딩 z_ret를 생성하며 h_act^t는 FC+Sigmoid를 통해 행동 트리거 확률 벡터 p_act를 생성한다.
관련 Figure
병합을 적용하지 않으면 토픽 수가 급격히 증가해 OOM(bound)에 도달하지만 Light-Omni의 병합 전략은 시간이 지나도 토픽 수를 완만하게 증가시켜 수개월치 상호작용에서도 토픽이 제한된 범위 내에 머문다는 특성을 보여준다. 그래프 상의 주석은 병합 계수 K=8일 때 메모리가 6개월 후에도 60개 미만의 토픽에 머무른다는 실험적 관찰을 제시한다. 이 도식은 Light-Omni의 장기 확장성 주장을 정량적으로 뒷받침한다.
Figure 8은 로그 스케일로 비디오 지속 시간에 따른 전역 상태의 토픽 수 변화를 Light-Omni와 병합 미적용 기준(w/o merging)으로 비교한 그래프이다.
한계점
논문에서 명시한 제약으로는 현재 액션 공간이 기록 기준으로 search와 speech로 제한되어 있어 추가적인 도구 사용은 별도 통합이 필요하다는 점이 있다. Soft-prompt 기반 접근과 완전히 동결된 임베딩 공간을 경량 파인튜닝으로 정렬하는 것은 최적화 난이도가 존재하며, 논문은 soft prompt만 사용한 전략이 성능 저하를 초래한 실험 결과를 보고해 일부 설정에서 학습 안정성 문제가 있음을 인정했다. 또한 에피소드 검색 항목 수를 과도하게 늘리면 특정 데이터셋(LVBench)에서 성능이 하락하는 경향이 관찰되어 retrieval granularity 조정이 필요하다.
실무 활용
Light-Omni는 기존 MLLM 백본과 결합 가능한 모듈형 장기 메모리 시스템으로서 실제 장시간 멀티모달 어시스턴트에 적용 가능하다. 논문에서 공개된 GitHub 리포지토리와 함께 전처리·retriever 구성으로 실제 응답 지연을 줄이는 데 초점이 맞춰져 있으며, 이미 여러 상용·오픈소스 MLLM에 통합했을 때 정확도와 효율 개선이 보고되었다. 따라서 실무에서는 대화형 비디오 요약, 장기 모니터링, 개인화된 멀티세션 어시스턴트 등에 활용할 수 있다.
- 장시간 모니터링 영상에서 사건을 실시간으로 탐지하고 요약하는 컨텍스트 유지형 어시스턴트
- 사용자 프로파일을 누적해 개인화된 멀티세션 보조를 제공하는 비디오 기반 디지털 비서
- 대용량 교육·강의 비디오에서 질의에 신속히 반응하면서 관련 과거 세그먼트를 정확히 검색하는 학습 보조 시스템
코드 공개 여부: 공개
코드 저장소 보기키워드
용어 해설
- Global State
- — 전역 상태는 에이전트가 장기 기억에서 계층적으로 요약한 압축된 멀티모달 스크립트로, 최근 세부 정보는 보존하면서 과거 사건을 고수준으로 요약하여 지속적이고 일관된 문맥을 제공한다. 본 논문에서는 resolution-decaying 병합 규칙(merge factor k=8)을 적용해 일정 용량을 넘으면 오래된 노드들을 상위 노드로 통합함으로써 메모리 크기를 제어한다. 전역 상태는 조회·응답·메모리 통합 시 참조되는 비파라메트릭 컨텍스트 역할을 한다.
- Latent State
- — 잠복 상태는 전역 상태를 조건으로 단일 순전파에서 생성되는 파라메트릭 표현으로, 액션 트리거 확률과 검색 임베딩을 직접 출력하여 반복적 추론 없이 즉시 반사적 행동과 정렬된 검색을 가능하게 한다. 본 논문에서는 soft prompt 토큰을 입력에 추가하고 백본의 히든 출력을 task-specific head로 투영해 z_ret와 p_act를 얻는다. 잠복 상태는 검색 분포와 쿼리 분포의 의미적 불일치를 줄이는 데 핵심적이다.
- Hierarchical Merging
- — 계층적 병합은 에피소드 스크립트를 용량 기준(k=8)으로 모아서 오래된 k개 노드를 상위 노드로 합치며 시간 해상도를 점진적으로 감소시키는 방식이다. 이 방식은 최근의 세부 정보는 저수준 노드로 보존하고, 장기 맥락은 상위 노드에 요약함으로써 전역 상태의 크기를 제한한다. 병합 규칙은 N_i ≥ k+1일 때만 실행되어 급격한 정보 손실을 방지한다.
- Retrieval Embedding
- — 검색 임베딩은 백본의 특정 히든 스테이트를 MLP-ReLU-MLP 투영기로 매핑하여 생성되는 연속 벡터로, 잠복 상태가 쿼리 분포를 보정하기 위해 예측한 z_ret가 원래 임베딩에 더해져 메모리와 의미적으로 정렬된 검색 벡터를 만든다. 이 임베딩은 대조 학습 손실과 함께 학습되어 검색 정밀도를 향상시킨다. 파라메트릭 임베딩은 텍스트 임베딩만 사용하는 전통적 RAG 방식보다 잡음에 강한 특성을 보였다.
- Multi-LoRA
- — 멀티-LoRA는 기억화, 생성, 반응 등 서로 다른 기능 간의 최적화 충돌을 줄이기 위해 기능별로 독립된 LoRA 어댑터들을 도입하고 실행 시 상태에 따라 어댑터를 전환하는 설계이다. 이 구성은 파라미터 효율적 미세조정을 가능하게 하며 작업 간 간섭을 줄여 잠복 상태와 생성 성능을 동시에 유지한다. 논문에서는 이 설계를 통해 backbone의 공동 최적화가 가능하다고 보고되었다.
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
