Qdrant를 활용한 멀티 벡터 검색 실전 가이드: 설정부터 쿼리까지

• •ColBERT 대응을 위해 토큰당 128차원의 벡터 크기와 DOT 거리 함수 사용
• •multivector_config에 MAX_SIM 비교기를 명시하여 멀티 벡터 모드 활성화
• •MaxSim의 특성상 HNSW 인덱싱이 불가능하므로 m=0 설정을 통해 비활성화

MaxSim은 쿼리의 각 토큰에 대해 문서 내 가장 유사한 토큰을 찾아 그 점수들을 합산하는 방식이다. 이 과정은 쿼리에 따라 계산이 달라지므로 미리 그래프를 구축하는 HNSW 방식과 호환되지 않는다.

• •models.Document를 통해 FastEmbed 기반의 자동 토큰화 및 임베딩 수행
• •쿼리 토큰별 최대 유사도 합산 방식인 MaxSim 스코어로 검색 결과 랭킹
• •페이로드 필드에 원본 텍스트와 메타데이터를 함께 저장하여 관리 편의성 증대

FastEmbed는 Qdrant에서 제공하는 경량 파이썬 라이브러리로, 서버로 데이터를 보내기 전에 로컬에서 빠르게 임베딩을 생성할 수 있게 돕는다.

• •on_disk=True 설정을 통한 벡터 데이터의 디스크 오프로딩 구현
• •메모리 사용량 절감과 검색 지연 시간 증가 사이의 트레이드오프 발생
• •양자화 및 멀티 스레드 검색을 결합하여 디스크 기반 검색 성능 보완

양자화는 부동 소수점 벡터를 더 작은 비트 단위로 변환하여 용량을 줄이는 기술로, 디스크 I/O 부하를 줄이는 데 효과적이다.