Vinci2: 연속 일인칭 비디오에서의 사전 대응형 지원과 기억 기반 에이전트

연속 일인칭 비디오는 사용자의 행동과 환경이 시간에 따라 누적되는 정보원을 제공하므로 단순 반응형 보조와 달리 적시에 개입하는 사전 대응형 지원이 가능하다. 기존 시스템은 즉시 관찰이나 사전 정의된 이벤트에만 의존해 장기 패턴을 고려하지 못했고 이는 불필요한 알림 또는 중요한 장기 패턴 미포착으로 이어졌다. 이 논문은 장기·다중스케일 문맥을 구조화하고 검색·재구성해 개입 여부를 결정하는 시스템과 대규모 평가셋을 제시해 사전 대응형 보조의 타당성과 기술적 요구조건을 입증했다.

사전 대응형 지원 문제는 단순한 이벤트 탐지나 질의 응답과 본질적으로 다르다. 에이전트는 현재 관찰만으로 반응할지 묵인할지 결정해야 하고, 이 판단은 최근 수초의 단서뿐 아니라 수분·수시간·수일에 걸친 누적 패턴에 근거해야 한다. 따라서 한정된 컨텍스트 창을 가진 VLM만으로는 장기 패턴을 포착하기 어렵다.

EgoMemo는 입력 스트림을 고정 길이 클립으로 분할하고 각 클립에 대해 VLM으로 ‘dense_caption’을 생성해 타임스탬프와 함께 보관한다. 이 캡션들을 일정 창 단위로 요약해 활동 수준과 세션 수준의 요약을 만든 뒤 모든 수준을 텍스트 임베딩으로 인코딩해 유사도 검색 인덱스로 유지한다. 병렬 메커니즘으로는 텍스트 유사도 기반의 다중 스케일 검색, 지식 그래프의 엔티티 매칭 통한 의미적 확장, 멀티모달 임베딩으로의 시각 검색이 존재하며 각 경로는 시간 제약(t' ≤ t)을 준수해 스트리밍 성격을 보장한다.

EgoMemo는 EgoServe에서 전체 매크로 F1 8.0을 기록해 비교 대상인 GPT-5-mini(4.7)와 Qwen3-VL-Plus(3.5)를 상회했다. 장기 범주에서 특히 큰 이득을 보였는데 Routine Optimization에서 11.8, Memory Link에서 4.9를 달성해 장기·크로스세션 추론 능력이 유효함이 확인되었다. 구성 요소 절제 실험에서 VLM 기반 캡션 재구성 제거는 전체 F1을 8.0에서 6.6으로 하락시켰고, 지식 그래프 제거는 Memory Link 점수를 0.0으로 떨어뜨려 각 구성요소의 기여가 계량적으로 확인되었다.

아키텍처는 입력 스트림을 클립으로 분할한 뒤 각 클립에 대해 VLM(Qwen3-VL-8B-Instruct을 논문에서 사용한 예로 명시)을 통해 세부 캡션을 생성하고 이를 시간 계층으로 요약해 저장하는 구조로 구성된다. 요약된 텍스트는 OpenAI의 text-embedding-3-small로 임베딩되어 유사도 기반 인덱싱에 사용되며 키프레임은 ImageBind로 인코딩해 시각 임베딩 아카이브로 보관한다. 지식 그래프 구성은 LLM(GPT-4o-mini로 표기)을 통해 엔티티·관계를 추출하고 이름 기반 병합(name-based entity resolution)으로 누적하는 방식이며 각 노드는 관련 캡션 인덱스를 참조하도록 설계되었다.

논문은 텍스트 기반 캡션에 의존하므로 캡션화 과정에서 세부적 시각 정보가 손실될 수 있음을 명시했다. 이름 기반 엔티티 정합은 시각적으로 모호한 객체나 동일객체의 다양한 표기 때문에 실패할 가능성이 존재한다. 또한 반자동화된 라벨링 파이프라인은 파운데이션 모델의 생성 편향으로 인해 특정 서비스 유형에 편중된 어노테이션을 만들 수 있음이 보고되었다.