Qwen3-VL-Embedding 및 Reranker: 차세대 멀티모달 검색 시스템 구축 가이드

• •텍스트, 이미지, 비디오를 동일한 벡터 공간 내에 정렬
• •서로 다른 데이터 형식 간의 직접적인 유사도 비교 가능
• •멀티모달 RAG 시스템의 핵심 기반 기술

임베딩 벡터 간의 유사도는 주로 Cosine Similarity를 통해 측정된다.

• •2B 및 8B 파라미터 모델 제공 및 Apache 2.0 라이선스 적용
• •스크린샷, UI, 비디오 등 다양한 시각적 입력 지원
• •32K Context Window 및 30개 이상의 다국어 지원

• •Embedding 모델은 고속 검색(Recall)을 담당
• •Reranker 모델은 고정밀 재순위화(Precision)를 담당
• •속도와 정확도를 모두 잡기 위한 2단계 검색 파이프라인 구축

Embedding은 Bi-Encoder 구조를, Reranker는 Cross-Encoder 구조를 주로 사용한다.

• •MRL을 통해 임베딩 차원을 유연하게 축소 가능
• •낮은 차원에서도 높은 시맨틱 정보 유지 확인
• •벡터 DB 저장 비용 절감 및 검색 속도 향상

Matryoshka는 러시아 인형처럼 큰 것 안에 작은 것이 들어있는 구조를 의미한다.

• •OCR 없이 이미지와 텍스트를 통합 검색하는 RAG 클래스 구현
• •이미지 쿼리를 통한 멀티모달 검색 시연
• •차원 축소(MRL) 적용 시의 유사도 점수 유지 확인

Tesla T4 GPU 환경에서도 bfloat16 정밀도를 사용하여 2B 모델 실행이 가능하다.