Python으로 밑바닥부터 구현하는 벡터 검색 엔진 가이드

섹션별 상세

기존 키워드 매칭 방식은 정확한 단어 일치에 의존하지만 벡터 검색은 텍스트를 고차원 공간의 좌표로 변환하여 의미적 유사성을 계산한다. 의미가 유사한 문장은 공유하는 단어가 없더라도 벡터 공간에서 기하학적으로 가까운 위치에 배치된다. 이러한 특성 덕분에 사용자의 의도를 더 정확하게 파악하는 검색 및 추천 시스템 구축이 가능하다.

벡터 검색의 전체 워크플로우를 보여주는 다이어그램 — Diagram쿼리 벡터가 생성된 후 전체 벡터 행렬과 비교되어 유사도 점수가 계산되고 상위 결과가 반환되는 5단계 과정을 시각화한다. 코사인 유사도의 개념을 각도에 따른 유사성으로 설명하며 행렬 연산 과정을 수식으로 표현한다.

벡터 검색의 효율성을 높이기 위해 저장되는 모든 임베딩 벡터에 대해 L2 정규화를 수행하여 크기를 1로 맞춘다. 정규화된 벡터 간의 코사인 유사도는 복잡한 각도 계산 대신 단순한 내적(Dot Product) 연산만으로 구할 수 있어 계산 비용이 크게 절감된다. NumPy의 linalg.norm을 활용해 분모가 0이 되는 상황을 방지하며 안정적으로 벡터를 정규화한다.

근거

정규화된 벡터 간의 코사인 유사도는 두 벡터의 내적과 동일하다. — Building the Index 섹션의 Normalization 설명

검색 인덱스는 정규화된 벡터 행렬과 레이블 목록으로 구성되며 행렬 곱셈을 통해 전체 데이터에 대한 검색을 수행한다. VectorIndex 클래스는 쿼리 벡터를 입력받아 저장된 전체 벡터 행렬과 내적을 수행하고 결과 점수를 내림차순으로 정렬하여 상위 K개의 결과를 반환한다. matrix multiplication 연산 하나로 수많은 데이터 사이의 유사도를 동시에 계산하는 것이 핵심이다.

고차원 임베딩 공간의 구조를 이해하기 위해 주성분 분석(PCA) 기법을 사용하여 8차원 데이터를 시각화 가능한 2차원 평면으로 투영한다. NumPy로 구현된 PCA 로직을 통해 전자제품, 의류, 가구 등 서로 다른 카테고리의 제품들이 의미적으로 명확한 클러스터를 형성함을 확인한다. 시각화 결과 쿼리 벡터가 의도한 카테고리 클러스터 내부에 정확히 위치하는 것을 볼 수 있다.

PCA를 이용해 2D로 투영된 임베딩 공간 시각화 차트 — Chart8차원 임베딩이 PCA를 통해 2차원 평면에서 어떻게 클러스터링되는지 보여준다. 전자제품, 의류, 가구 데이터가 서로 다른 영역에 모여 있으며 별 모양으로 표시된 쿼리 벡터가 해당 클러스터 근처에 정확히 위치함을 증명한다.

가구 관련 쿼리에 대한 전체 제품의 유사도 점수 분포 바 차트 — Chart특정 쿼리에 대해 상위 5개 가구 제품이 0.98 이상의 높은 점수를 기록하며 나머지 카테고리 제품들과 명확한 점수 격차를 보이는 것을 보여준다. 이를 통해 검색 결과의 신뢰도를 판단하는 임계값 설정의 근거를 제시한다.

근거

8차원 임베딩 공간에서 PCA를 통해 2D로 투영했을 때 전자제품, 의류, 가구 클러스터가 명확히 분리된다. — Visualizing the Embedding Space 섹션의 PCA 결과 그래프

기술

Python
NumPy
Matplotlib

활용 사례

의미 기반 제품 검색 시스템
추천 엔진 프로토타이핑
데이터 클러스터링 시각화

언급된 리소스

GitHubGitHub Code Repository