양자화된 임베딩을 직접 사용하는 HNSW 그래프 노드 최적화 실험

작성자가 공개한 GitHub 저장소와 실험 수치에 대해 긍정적인 반응이며, 기존 Product Quantization(PQ)과의 차이점 및 실무 적용 가능성에 대한 논의가 이루어지고 있습니다.

• 메모리 제약이 심한 환경에서 대규모 벡터 인덱스를 운영해야 한다면 PolarQuant 기반의 양자화 적용을 고려할 것.
• 검색 정확도가 중요하다면 양자화된 인덱스 검색 후 반드시 float32 원본 벡터로 재순위화 단계를 거칠 것.

HNSW

— 고차원 벡터 데이터에서 근사 최근접 이웃(ANN)을 빠르게 찾기 위해 그래프 구조를 사용하는 알고리즘이다. 여러 계층의 그래프를 통해 탐색 범위를 좁혀가며, 대규모 데이터셋에서도 높은 검색 성능과 정확도를 제공하여 벡터 데이터베이스의 핵심 기술로 사용된다.

Scalar Quantization

— 연속적인 값을 가진 부동 소수점 벡터를 더 적은 비트의 정수 값으로 변환하여 데이터 크기를 줄이는 기법이다. 메모리 사용량을 획기적으로 줄일 수 있으나, 원래 값의 정밀도가 일부 손실되어 검색 정확도(Recall)에 영향을 줄 수 있다.

Product Quantization

— 고차원 벡터를 여러 개의 하위 벡터로 분할하고 각 부분을 독립적으로 양자화하는 압축 기술이다. 매우 높은 압축률을 제공하며, 압축된 상태에서 거리를 계산할 수 있어 대용량 벡터 검색 엔진에서 표준적으로 사용된다.

Recall

— 검색 시스템이 실제 정답인 이웃들을 얼마나 정확하게 찾아냈는지를 나타내는 지표이다. 근사 검색 알고리즘에서는 속도와 메모리 효율을 위해 100% 정확도를 포기하는 대신, 높은 재현율을 유지하는 것이 성능 평가의 핵심이다.