로컬 Qwen3-VL 임베딩을 이용한 API 없는 시맨틱 비디오 검색

실용적 조언

저사양 환경(6GB RAM)에서는 Qwen3-VL 2B 모델을 사용하여 로컬 비디오 검색 시스템을 구축할 수 있다.
ChromaDB와 연동하여 대규모 영상 데이터의 인덱싱 및 검색 자동화 파이프라인을 구성 가능하다.

섹션별 상세

Qwen3-VL-Embedding을 활용한 직접적인 비디오 임베딩 방식이다. 기존의 영상 검색이 음성 전사(Transcription)나 프레임별 캡셔닝을 거쳐 텍스트로 변환한 뒤 검색하는 것과 달리, 이 방식은 영상 데이터를 직접 벡터 공간에 투사하여 텍스트 쿼리와 매칭한다. 8B 모델은 약 18GB의 RAM을 소모하며, 2B 모델은 약 6GB 환경에서 구동 가능하여 로컬 환경에서의 실용성을 확보했다. 이를 통해 중간 텍스트 변환 과정에서 발생하는 정보 손실을 줄이고 검색 효율을 높일 수 있다.

하드웨어 호환성 및 도구 구현에 관한 내용이다. 개발된 SentrySearch 도구는 Apple Silicon(MPS)과 NVIDIA GPU(CUDA)를 모두 지원하여 다양한 로컬 환경에서 실행 가능하다. 인덱싱된 데이터는 ChromaDB에 저장되며, 검색 결과에 따라 매칭되는 영상 클립을 자동으로 잘라내는(Auto-trim) 기능을 포함하고 있다. 초기에는 Gemini 임베딩 API 기반이었으나, 사용자 요청에 따라 로컬 Qwen 백엔드를 추가하여 완전한 오프라인 환경을 구축했다.

SentrySearch CLI 도구가 터미널에서 실행되는 스크린샷이다. — Screenshot로컬 환경에서 영상을 인덱싱하고 검색하는 과정을 보여준다. 사용자가 입력한 쿼리에 따라 영상의 특정 구간이 매칭되는 로그를 확인할 수 있다.

용어 해설

시맨틱 검색(Semantic Search): — 단어의 단순 일치가 아닌 문맥과 의미를 파악하여 정보를 찾는 기술이다. 영상의 시각적 특징과 텍스트의 의미를 동일한 벡터 공간에서 비교함으로써 '강아지가 뛰는 영상' 같은 추상적 질의에도 정확한 결과를 도출한다.
벡터 임베딩(Vector Embedding): — 텍스트, 이미지, 영상 등 비정형 데이터를 고차원의 수치 벡터로 변환하는 과정이다. 데이터 간의 유사도를 수학적 거리로 계산할 수 있게 해주어 효율적인 검색과 분류를 가능하게 하는 핵심 기술이다.
MPS(MPS (Metal Performance Shaders)): — Apple Silicon GPU에서 머신러닝 연산을 가속화하기 위한 프레임워크이다. PyTorch 등에서 CUDA 대신 사용하여 Mac 환경에서도 고성능 모델 추론 및 학습을 가능하게 한다.

언급된 도구

SentrySearch추천

비디오 인덱싱 및 시맨틱 검색 CLI 도구

ChromaDB추천

벡터 데이터 저장 및 검색