Vinci2: 연속 일인칭 비디오에서의 사전 대응형 지원과 기억 기반 에이전트

왜 중요한가

연속 일인칭 비디오는 사용자의 행동과 환경이 시간에 따라 누적되는 정보원을 제공하므로 단순 반응형 보조와 달리 적시에 개입하는 사전 대응형 지원이 가능하다. 기존 시스템은 즉시 관찰이나 사전 정의된 이벤트에만 의존해 장기 패턴을 고려하지 못했고 이는 불필요한 알림 또는 중요한 장기 패턴 미포착으로 이어졌다. 이 논문은 장기·다중스케일 문맥을 구조화하고 검색·재구성해 개입 여부를 결정하는 시스템과 대규모 평가셋을 제시해 사전 대응형 보조의 타당성과 기술적 요구조건을 입증했다.

핵심 기여

EgoServe: 사전 대응형 행동을 평가하는 대규모 벤치마크

EgoServe는 4개의 시간적 메모리 호라이즌과 10개의 서비스 카테고리로 조직된 약 3,400개의 서비스 인스턴스를 포함하며 다중 일자·다중 사용자·일상 활동을 아우른다. 각 서비스 인스턴스는 트리거 시간 윈도우, 서비스 타입, 관찰 근거, 그리고 권장 응답을 구조화된 JSON으로 보관해 시간 정밀도와 응답 품질을 분리해 평가할 수 있다. 사람 검수 과정을 통해 자동 생성 후보를 필터링하고 실제 개입 적합성 기준을 확보했다.

EgoMemo: 훈련 불필요한 메모리 기반 사전 대응 에이전트

EgoMemo는 학습 없이 동작하는 에이전트로 클립·활동·세션의 다중 스케일 텍스트 요약, 진화형 지식 그래프, 시각 임베딩 아카이브라는 세 가지 보조 기억을 스트리밍으로 유지한다. 각 타임스텝에서 텍스트 기반 질의로 세 경로(시간, 그래프, 시각)을 병렬 검색하고 VLM 기반 재구성으로 검색 결과를 일관된 서술로 정돈한 뒤 LLM에 제공해 개입 여부와 응답을 생성한다. 이 구조는 온디바이스·스트리밍 제약 하에서도 장기 문맥을 활용해 교차 세션 추론을 수행할 수 있도록 설계되었다.

스트리밍 우선의 다중 경로 검색 및 캡션 재구성 파이프라인

검색 파이프라인은 텍스트 임베딩 유사도 기반의 다중 스케일 시간 검색, 지식 그래프의 엔티티 매칭 및 1-hop 확장, 멀티모달 임베딩 유사도 기반의 시각 검색을 병렬로 수행한다. 그래프·시각 검색은 원래 캡션 인덱스만 반환하므로 VLM을 통해 관련 캡션과 키프레임을 재구성해 질의 중심의 서술을 생성한다. 재구성된 문맥은 코어 LLM에 통합되어 시간 정밀도와 문맥 근거를 동시에 확보하도록 한다.

스트리밍 설계로 오프라인 및 온라인 벤치마크 모두에 적용 가능한 범용성

EgoMemo의 메모리 구성과 검색은 순차적 누적만으로 동작하므로 전체 비디오 접근이 가능한 오프라인 설정에서는 한 번의 순회로 전체 메모리를 구축하고 동일한 검색-재구성-추론 파이프라인을 재사용할 수 있다. 이로 인해 스트리밍 상황과 오프라인 QA 모두에서 추가 아키텍처 변경 없이 동일한 시스템을 평가할 수 있다. 실험에서는 EgoServe뿐 아니라 ESTP-Bench, OVO-Bench, EgoSchema 등 기존 벤치마크에도 경쟁력 있는 성능을 보였다.

핵심 아이디어 이해하기

사전 대응형 지원 문제는 단순한 이벤트 탐지나 질의 응답과 본질적으로 다르다. 에이전트는 현재 관찰만으로 반응할지 묵인할지 결정해야 하고, 이 판단은 최근 수초의 단서뿐 아니라 수분·수시간·수일에 걸친 누적 패턴에 근거해야 한다. 따라서 한정된 컨텍스트 창을 가진 VLM만으로는 장기 패턴을 포착하기 어렵다.

관련 Figure

Diagram
이 그림은 기존 반응형·사전적 이벤트 탐지 방식과 본 논문의 사전 대응형 설계가 어떻게 다르게 개입 결정을 내리는지 시각적으로 구분한다. 각 패널은 입력 비디오 프레임, 캡션, 그리고 생성된 응답 예시를 연계해 시간적 문맥을 고려하는 필요성을 강조한다.
세 가지 패러다임(반응형, 반사전형, 본 연구의 사전 대응형)을 비교한 개념 도식과 예시 화면을 병렬로 배치한 Figure.

방법론

EgoMemo는 입력 스트림을 고정 길이 클립으로 분할하고 각 클립에 대해 VLM으로 ‘dense_caption’을 생성해 타임스탬프와 함께 보관한다. 이 캡션들을 일정 창 단위로 요약해 활동 수준과 세션 수준의 요약을 만든 뒤 모든 수준을 텍스트 임베딩으로 인코딩해 유사도 검색 인덱스로 유지한다. 병렬 메커니즘으로는 텍스트 유사도 기반의 다중 스케일 검색, 지식 그래프의 엔티티 매칭 통한 의미적 확장, 멀티모달 임베딩으로의 시각 검색이 존재하며 각 경로는 시간 제약(t' ≤ t)을 준수해 스트리밍 성격을 보장한다.

관련 Figure

Infographic
파이프라인 도식은 Gemini 기반 자동 생성과 수작업 검수 절차, 장기 서비스 후보 누적 전략을 단계별로 나열해 데이터 제작의 논리적 흐름을 보여준다. 오른쪽 차트들은 서비스 카테고리별 분포와 응답어 빈도 등 벤치마크의 통계적 특성을 정량적으로 전달한다.
EgoServe 어노테이션 파이프라인을 도식화한 그림과 데이터 분포, 응답 단어 빈도 및 비디오 길이 분포 차트를 포함한 요약 시각화.

Screenshot
구체 캡션 예시는 어떻게 세부 서술이 활동 및 세션 요약으로 압축되는지와 각 레벨이 원본 캡션 인덱스를 참조하는 방식을 보여준다. 이 그림은 요약 주기와 타임스탬프 병합 방식이 메모리 효율성과 검색 정확도에 미치는 영향을 직관적으로 전달한다.
클립-활동-세션 수준의 캡션 롤업 과정을 예시 캡션 텍스트와 함께 보여주는 스트리밍 메모리 구성 상세 그림.

Screenshot
이미지에는 Rationality와 Effectiveness를 1–5척도로 평가하는 프롬프트가 직렬로 배치되어 있어 자동화된 LLM 심사 프로토콜의 구체적 기준을 보여준다. 이 근거는 매칭된 예측-정답 페어의 응답 품질을 수치화하는 절차에 직접 연결된다.
LLM 평가 프롬프트 예시와 수작업 평가자 안내문이 포함된 판넬로 응답 합리성과 효과성 평가 기준을 제시한 이미지.

Photo
이 패널은 어노테이터가 생성한 트리거 윈도우, 관찰 근거, 권장 반응을 포맷화한 실제 어노테이션 예시를 보여준다. 수작업 검수 결과와 함께 제시되어 데이터 품질 관리 절차의 투명성을 보완한다.
Instant 서비스의 안전 경고와 도구 사용·절차 안내 예시를 포함한 어노테이션 샘플 패널.

주요 결과

EgoMemo는 EgoServe에서 전체 매크로 F1 8.0을 기록해 비교 대상인 GPT-5-mini(4.7)와 Qwen3-VL-Plus(3.5)를 상회했다. 장기 범주에서 특히 큰 이득을 보였는데 Routine Optimization에서 11.8, Memory Link에서 4.9를 달성해 장기·크로스세션 추론 능력이 유효함이 확인되었다. 구성 요소 절제 실험에서 VLM 기반 캡션 재구성 제거는 전체 F1을 8.0에서 6.6으로 하락시켰고, 지식 그래프 제거는 Memory Link 점수를 0.0으로 떨어뜨려 각 구성요소의 기여가 계량적으로 확인되었다.

관련 Figure

Infographic
여러 데모 사례가 시간선과 함께 제시되어 있어 시스템이 어떤 순간에 개입하거나 침묵을 유지하는지를 비교할 수 있다. 장기적 패턴을 근거로 한 습관 코칭 예시는 크로스데이 검색의 실용적 가치를 강조한다.
구체적 에러·알림 예시를 포함한 정성적 결과 패널로 트리거/무음 결정과 생성된 서비스 메시지를 나열한 Figure.

기술 상세

아키텍처는 입력 스트림을 클립으로 분할한 뒤 각 클립에 대해 VLM(Qwen3-VL-8B-Instruct을 논문에서 사용한 예로 명시)을 통해 세부 캡션을 생성하고 이를 시간 계층으로 요약해 저장하는 구조로 구성된다. 요약된 텍스트는 OpenAI의 text-embedding-3-small로 임베딩되어 유사도 기반 인덱싱에 사용되며 키프레임은 ImageBind로 인코딩해 시각 임베딩 아카이브로 보관한다. 지식 그래프 구성은 LLM(GPT-4o-mini로 표기)을 통해 엔티티·관계를 추출하고 이름 기반 병합(name-based entity resolution)으로 누적하는 방식이며 각 노드는 관련 캡션 인덱스를 참조하도록 설계되었다.

관련 Figure

Diagram
이 다이어그램은 클립 캡션에서 활동·세션 요약으로의 롤업, 지식 그래프와 시각 임베딩 아카이브의 병렬 유지, 그리고 다중 검색 경로가 재구성 단계에서 합쳐져 최종 추론기로 전달되는 흐름을 단계별로 표시한다. 구성 요소 간 데이터 흐름과 타임스탬프 제약(t' ≤ t)이 명확히 드러나 실시간 제약을 고려한 설계임을 확인할 수 있다.
EgoMemo의 스트리밍 메모리 구성과 검색-재구성-추론 파이프라인을 블록으로 정리한 아키텍처 다이어그램.

한계점

논문은 텍스트 기반 캡션에 의존하므로 캡션화 과정에서 세부적 시각 정보가 손실될 수 있음을 명시했다. 이름 기반 엔티티 정합은 시각적으로 모호한 객체나 동일객체의 다양한 표기 때문에 실패할 가능성이 존재한다. 또한 반자동화된 라벨링 파이프라인은 파운데이션 모델의 생성 편향으로 인해 특정 서비스 유형에 편중된 어노테이션을 만들 수 있음이 보고되었다.

실무 활용

EgoMemo와 EgoServe는 연속 일인칭 비디오를 입력으로 받는 실시간 보조 시스템의 연구·프로토타입 단계 적용에 적합하다. 저장된 코드와 데이터셋을 이용하면 프로토타입 에이전트의 메모리 구성, 검색 파이프라인, 재구성(LM 기반) 절차를 재사용해 실제 장면에서 개입 정책을 실험할 수 있다. 논문에 공개된 저장소는 스트리밍 메모리 구축과 재구성 파이프라인을 포함한다.

가정용 보조 에이전트에서 위험 상황 안전 알림과 기기 종료 알림 같은 즉시성 서비스 실험
작업 현장 또는 요리·조립 절차에서 오류 복구와 다음 단계 안내 시나리오 평가
장기 행동 패턴을 기반으로 한 습관 코칭이나 루틴 최적화 연구
연구용 벤치마크(EgoServe)를 이용한 사전 대응 개입 정책 비교·평가

코드 공개 여부: 공개

코드 저장소 보기

키워드

EgoMemo(메모리 기반 에이전트)EgoServe(사전 대응형 벤치마크)Retrieval-Augmented Reasoning(검색 증강 추론)Multi-Scale Temporal Memory(다중 스케일 시계열 메모리)Knowledge Graph(지식 그래프)

용어 해설

검색 증강 추론(Retrieval-Augmented Reasoning): — 질문이나 현재 관찰에 대해 관련 과거 단서들을 색인에서 검색하여 그 결과를 통합한 후 최종 판단을 내리는 방식으로, 본문에서는 다중 스케일의 텍스트·그래프·시각 임베딩을 병렬로 검색해 재구성한 문맥을 LLM에 입력해 개입 여부를 결정하는 데 사용된다.
다중 스케일 시계열 메모리(Multi-Scale Temporal Memory): — 클립 수준의 촘촘한 캡션부터 활동 수준의 요약, 세션 수준의 장기 요약으로 계층화된 메모리 구조로, 각 계층을 임베딩해 적절한 시점·범위의 문맥을 효율적으로 검색하는 역할을 한다.
진화형 지식 그래프(Evolving Knowledge Graph): — 비디오 캡션으로부터 추출한 엔티티와 관계를 이름 기반 병합으로 누적시켜 노드가 소스 캡션을 참조하도록 유지하는 구조화된 인덱스이며, 의미 기반 검색과 1-hop 확장을 통해 표현 차이를 극복한다.
시각 임베딩 보관소(Visual Embedding Archive): — 샘플링한 키프레임을 멀티모달 인코더로 임베딩해 타임스탬프와 캡션 인덱스와 함께 저장하는 아카이브로, 텍스트로 잘 기술되지 않는 외형·구성 정보를 유사도 검색으로 회수하는 데 사용된다.

Vinci2: 연속 일인칭 비디오에서의 사전 대응형 지원과 기억 기반 에이전트

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

에이전트 네이티브 메모리 시스템의 구조와 평가 방법론

실시간 음성 대화를 위한 스트리밍 이중 brain 메모리

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

에이전트 네이티브 메모리 시스템의 구조와 평가 방법론

실시간 음성 대화를 위한 스트리밍 이중 brain 메모리