Qdrant 멀티 벡터 검색 최적화: 풀링(Pooling)을 통한 벡터 수 감소 기법

• •Quantization은 개별 벡터의 크기를 축소
• •Pooling은 문서당 저장되는 벡터의 총 개수를 축소
• •두 기법 결합 시 최대 1000배 압축 가능

Quantization은 데이터의 표현 정밀도를 낮추는 기법이며, Pooling은 여러 데이터를 하나로 합쳐 대표값을 만드는 기법이다.

• •32x32 그리드의 1024개 패치를 행/열 단위로 압축
• •Row/Column 결합 시 16배에서 32배까지 벡터 수 감소
• •텍스트 행이나 테이블 구조가 있는 문서에 최적화

ColPali는 이미지를 작은 조각(Patch)으로 나누어 각 조각을 벡터로 임베딩하는 시각 언어 모델이다.

• •의미적 유사도 기반의 K-means Clustering 적용
• •문서 길이에 관계없이 고정된 개수의 벡터로 압축 가능
• •텍스트와 이미지 등 모든 멀티 벡터 데이터에 범용적 적용

K-means Clustering은 데이터를 K개의 군집으로 나누는 대표적인 비지도 학습 알고리즘이다.