벡터 검색을 위한 거리 측정 지표 선택 가이드

• •벡터 공간 내의 위치는 데이터의 의미를 인코딩함
• •유사도는 고정된 값이 아니라 선택한 거리 지표에 따라 달라짐
• •Qdrant는 검색 효율성을 위해 정규화된 벡터에서 Cosine을 Dot Product로 구현함

벡터 검색은 텍스트나 이미지를 고차원 숫자의 배열인 벡터로 변환한 뒤, 질문 벡터와 가장 가까운 벡터를 찾아내는 기술이다.

• •두 벡터 사이의 각도 코사인 값을 계산하여 유사도 측정
• •벡터의 크기가 의미를 갖지 않는 텍스트 의미 비교에 최적화
• •벡터 길이가 정보에 포함된 경우 Cosine Similarity는 이를 무시함

코사인 유사도는 벡터의 크기보다는 두 벡터가 가리키는 방향이 얼마나 일치하는지에 집중하는 지표이다.

• •모든 차원에서 발생하는 수치적 차이의 합을 직선 거리로 계산
• •데이터의 스케일(Scale)에 매우 민감하여 정규화가 필수적임
• •의미적 유사성보다는 절대적 수치 차이가 중요한 센서 데이터 등에 적합

유클리드 거리는 우리가 일상에서 사용하는 '두 지점 사이의 거리' 개념과 동일하다.

• •벡터의 방향과 크기(Magnitude)를 모두 고려하여 점수 산출
• •추천 엔진에서 선호도의 강도를 반영하기 위해 주로 사용
• •문서 길이나 기능 수에 따라 크기가 의도치 않게 변하는 데이터에는 부적합

내적(Dot Product)은 두 벡터가 같은 방향을 향하면서 동시에 크기가 클 때 가장 높은 값을 반환한다.