이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
비디오 AI 시스템은 현재 비디오를 단순한 프레임이나 전사본의 집합으로 처리하여 영구적인 기억을 갖지 못한다. TwelveLabs는 비디오를 시공간 볼륨으로 재정의하고, 임베딩 인코더와 컨텍스트 스토어, 비디오 언어 모델을 결합한 메모리 레이어를 구축하여 이를 해결한다. 이 시스템은 비디오 내의 모멘트, 엔티티, 관계를 컨텍스트 그래프로 구조화하여 타임스탬프 기반으로 모든 주장을 검증할 수 있게 한다. 결과적으로 개발자는 스포츠 하이라이트, 교통 보안, 광고 배치 등 다양한 도메인에서 비디오 콘텐츠를 인간처럼 이해하고 활용하는 애플리케이션을 구현할 수 있다.
챕터별 상세
00:00
비디오 메모리의 부재와 문제점
대부분의 비디오 AI 시스템은 비디오를 프레임의 집합이나 전사본으로 처리하여 시스템 차원의 메모리가 존재하지 않는다. 비디오는 과거의 기록을 보존하지만, AI는 이를 영구적인 표현으로 저장하지 못해 매번 처음부터 처리해야 한다. 이로 인해 비디오 내의 시공간적 관계를 이해하고 추론하는 데 한계가 발생한다.
00:50
시공간 볼륨으로서의 비디오
비디오는 단순한 프레임의 나열이 아니라 공간, 시간, 모달리티가 결합된 시공간 볼륨이다. 비디오 내에는 시각 정보, 음성, 동작, 카메라 전환, 메타데이터 등이 포함되어 있다. 이 볼륨 내의 관계를 보존해야만 애플리케이션이 비디오를 효과적으로 탐색할 수 있다.
02:06
비디오 AI의 3가지 기술적 난제
비디오 AI는 잘못된 컨텍스트, 메모리 부족, 추론 능력의 한계라는 세 가지 문제에 직면해 있다. 비디오를 텍스트 토큰으로 강제 변환하면 시공간적 관계가 파괴된다. 또한, 텍스트 기반의 RAG나 벡터 검색만으로는 비디오의 연속성을 보존하기 어렵다.
04:53
TwelveLabs의 비디오 인텔리전스 스택
TwelveLabs는 시공간적 관계를 보존하는 메모리 레이어를 구축했다. 이 스택은 의미론적 청크를 생성하는 임베딩 인코더 Marengo, 시공간적 관계를 저장하는 컨텍스트 스토어, 그리고 비디오 컨텍스트를 이해하는 언어 모델 Pegasus로 구성된다. 이 모델들은 API를 통해 개발자에게 인프라로 제공된다.
05:56
검색과 메모리의 차이
검색은 단순히 관련 모멘트를 찾는 과정이지만, 메모리는 시스템이 복잡한 질문에 답할 수 있도록 구조화된 지식을 제공한다. 검색은 단일 모멘트만 반환하지만, 메모리는 엔티티, 타임라인, 증거를 포함한 구조화된 출력을 생성한다. 이를 통해 시스템은 '이 브랜드가 언제 등장하는가'와 같은 질문에 답할 수 있다.
07:48
컨텍스트 그래프의 개념
비디오 컬렉션을 컨텍스트 그래프로 표현하여 쿼리 가능한 구조를 만든다. 그래프는 타임라인상의 모멘트, 엔티티의 등장 위치, 엔티티 간의 관계, 그리고 전체 코퍼스 수준의 테마를 포함한다. 서로 다른 질문은 그래프의 서로 다른 부분을 탐색하여 답변을 도출한다.
09:04
비디오 메모리 레이어의 5가지 설계 원칙
비디오 메모리 레이어는 5가지 원칙을 따른다. 첫째, 한 번 인제스트하고 여러 번 추론한다. 둘째, 답변이 아닌 원시 데이터를 저장한다. 셋째, 모든 주장은 타임스탬프에 근거한다. 넷째, 의도가 기억할 내용을 결정한다. 다섯째, API 기반의 컴포저블한 구조를 유지한다.
10:45
비디오 워커의 역할
모델은 상태가 없는 단일 답변만 생성하지만, 비디오 워커는 결정론적 시스템 내에서 동작한다. 비디오 워커는 가용 메모리를 이해하고, 작업을 계획하며, 증거를 검색하고, 결과를 합성 및 검증한다. 이는 비디오 이해를 위한 하네스 역할을 수행한다.
12:51
데모: 스포츠 하이라이트 및 선수 추적
2022 월드컵 영상 67개를 인제스트하여 '거의 골이 될 뻔한 장면'을 검색하고 이유를 설명하는 데모를 시연했다. 또한, 리오넬 메시를 전체 코퍼스에서 추적하여 수비수를 제치는 장면을 찾고 카메라 프레이밍을 설명하는 기능을 보여주었다. 이는 비디오 메모리가 복잡한 질의를 처리할 수 있음을 입증한다.
15:37
데모: 교통 보안 및 광고 배치
교통 영상 8개를 인제스트하여 차량과 보행자를 분류하고 안전 이벤트를 감지하는 데모를 시연했다. 또한, 아디다스 광고 영상에서 특정 로고나 선수가 등장하는 시점을 찾아 광고를 배치하는 기능을 보여주었다. 이는 동일한 비디오 메모리 레이어가 다양한 도메인에 적용될 수 있음을 나타낸다.
용어 해설
- 시공간 볼륨(Spatiotemporal Volume)
- — 비디오를 단순한 2D 이미지의 연속이 아닌, 공간적 정보와 시간적 흐름을 포함한 3차원 데이터 구조로 정의하는 개념이다. 비디오 내의 움직임, 인과관계, 장면 전환 등을 이해하는 데 필수적인 데이터 표현 방식이다.
- 컨텍스트 그래프(Context Graph)
- — 비디오 내의 모멘트, 엔티티, 관계, 테마 등을 노드와 엣지로 연결하여 구조화한 데이터 모델이다. 비디오의 의미론적 이해를 가능하게 하여 복잡한 질의에 대한 답변을 제공하고, 비디오 간의 관계를 추론할 수 있게 한다.
- 멀티모달 임베딩(Multimodal Embedding)
- — 비디오, 오디오, 텍스트 등 서로 다른 형태의 데이터를 동일한 벡터 공간에 매핑하는 기술이다. 이를 통해 텍스트 질의로 비디오 내의 특정 장면이나 객체를 검색하고 이해할 수 있다.
언급된 리소스
DemoTwelveLabs
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 07. 23.수집 2026. 07. 23.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
