Amazon Nova 멀티모달 임베딩을 활용한 비디오 시맨틱 검색 구현 가이드

섹션별 상세

01

고정된 시간 단위 분할은 장면 중간을 끊어 의미적 맥락을 훼손하는 문제가 발생합니다. FFmpeg의 장면 감지 기능을 활용해 시각적 전환점을 기준으로 비디오를 5~15초 단위의 세그먼트로 분할하여 문맥적 연속성을 확보합니다. 이를 통해 각 세그먼트가 독립적인 의미 단위로서 검색 인덱스에 저장될 수 있도록 구현합니다. 의미적으로 일관된 세그먼트는 임베딩의 품질과 검색 결과의 정밀도를 직접적으로 향상시킵니다.

02

비디오의 모든 신호를 하나의 벡터로 합치면 세부적인 모달리티 정보가 희석되는 병목 현상이 생깁니다. Nova 멀티모달 임베딩을 사용하여 시각(객체, 배경), 오디오(배경음, 효과음), 전사 데이터(대화 내용)를 각각 별도의 벡터로 생성하여 저장합니다. 개별 임베딩 방식은 검색 시 특정 모달리티의 중요도를 동적으로 조절할 수 있는 유연성을 제공합니다. 이는 사용자가 '개 짖는 소리'를 찾을 때 오디오 신호에 집중할 수 있게 해줍니다.

python

def _detect_scenes(video_path):
    result = subprocess.run(
        ['ffprobe', '-v', 'quiet', '-show_entries', 'frame=pts_time', '-of', 'csv=p=0', '-f', 'lavfi', f"movie={video_path},select='gt(scene\\,{SCENE_THRESHOLD})'"],
        capture_output=True, text=True
    )

FFmpeg의 ffprobe를 사용하여 비디오 내에서 장면 전환이 발생하는 타임스탬프를 추출하는 코드

비디오 세그먼트로부터 시각, 오디오, 텍스트 임베딩이 개별적으로 생성되는 과정 — Diagram하나의 비디오 세그먼트가 Amazon Nova MME와 Amazon Transcribe를 거쳐 세 종류의 독립적인 벡터로 변환되는 과정을 시각화했습니다. 이는 각 모달리티의 특성을 보존하여 검색 정밀도를 높이는 핵심 전략을 설명합니다.

03

임베딩 기반 시맨틱 검색은 추상적 개념에는 강하지만 고유 명사나 특정 수치 검색에는 취약합니다. Amazon Rekognition을 통한 유명인 인식, Nova 2 Lite를 활용한 캡션 및 장르 생성 등 구조화된 메타데이터를 추출하여 벡터 검색과 결합하는 하이브리드 구조를 채택합니다. BM25 알고리즘 기반의 어휘 검색과 코사인 유사도 기반의 벡터 검색 결과를 정규화하여 통합합니다. 이 방식은 '특정 배우가 등장하는 액션 장면'과 같은 복합 쿼리에서 최적의 성능을 발휘합니다.

04

모든 검색에서 모든 모달리티를 조회하는 것은 불필요한 API 호출과 지연 시간을 유발합니다. Anthropic Claude Haiku 모델을 라우터로 사용하여 사용자 쿼리의 의도를 분석하고 시각, 오디오, 텍스트, 메타데이터 채널에 0.0~1.0 사이의 가중치를 할당합니다. 가중치가 5% 미만인 채널은 검색 실행에서 제외하여 시스템 효율성을 극대화합니다. 분석된 가중치는 최종 결과의 재순위화(Reranking) 과정에서 산술 평균의 가중치로 사용되어 검색 의도에 가장 부합하는 결과를 상단에 배치합니다.

기본 모델과 최적화된 하이브리드 검색의 성능 비교 막대 그래프 — ChartRecall@5, Recall@10, MRR, NDCG@10 등 주요 검색 품질 지표에서 하이브리드 방식이 기본 방식(Baseline)을 압도하는 수치를 보여줍니다. 모든 지표에서 30~40%p 이상의 성능 향상이 있음을 증명합니다.

이미지 분석

Diagram
S3 업로드로 시작되는 인덱싱 파이프라인(Step Functions)과 API Gateway를 통한 검색 파이프라인의 전체 흐름을 보여줍니다. 특히 병렬 처리 단계에서 임베딩 생성, 전사, 유명인 감지가 동시에 일어나는 구조를 확인할 수 있습니다.
비디오 업로드부터 인덱싱, 검색까지 이어지는 엔드투엔드 솔루션 아키텍처 다이어그램

용어 해설

멀티모달 임베딩(Multimodal Embeddings): — 텍스트, 이미지, 오디오, 비디오 등 서로 다른 형태의 데이터를 동일한 벡터 공간에 수치로 표현하는 기술입니다. 이를 통해 '사이렌 소리가 나는 추격전'과 같이 시각과 청각 정보가 혼합된 검색 쿼리를 효율적으로 처리할 수 있습니다.
하이브리드 검색(Hybrid Search): — 의미적 유사성을 찾는 시맨틱 검색과 정확한 키워드를 찾는 어휘 검색(Lexical Search)을 결합한 방식입니다. 고유 명사나 특정 날짜 같은 정밀한 정보와 추상적인 문맥 정보를 동시에 활용하여 검색 정확도를 높입니다.
샷 분할(Shot Segmentation): — 비디오를 고정된 시간 단위가 아닌, 장면 전환(Scene Change)이 일어나는 지점을 기준으로 나누는 기법입니다. 문맥의 단절을 방지하여 검색의 최소 단위인 세그먼트의 의미적 일관성을 유지하는 데 중요합니다.
의도 기반 라우팅(Intent-aware Routing): — 사용자의 검색 쿼리를 분석하여 시각, 오디오, 텍스트 중 어떤 요소가 중요한지 판단하고 가중치를 할당하는 기술입니다. 불필요한 모달리티의 검색을 건너뜀으로써 지연 시간을 줄이고 정확도를 최적화합니다.

기술

Amazon Nova Multimodal Embeddings
Amazon Bedrock
Anthropic Claude Haiku
Amazon OpenSearch Service
Amazon Transcribe
Amazon Rekognition
FFmpeg

활용 사례

스포츠 하이라이트 자동 추출 시스템
특정 배우/객체 기반의 영상 아카이브 검색
분위기나 장소 기반의 뉴스 푸티지 검색

언급된 리소스

GitHubVideo Semantic Search Reference Implementation

문서Guidance for a Media Lake on AWS