챕터별 상세
Pinecone Full Text Search 개요 및 인덱스 스키마 설정
Pinecone은 텍스트와 벡터를 동일한 인덱스에서 동시에 검색할 수 있는 Full Text Search 기능을 발표했다. 데모에서는 2,000개의 위키피디아 조류 데이터를 사용하며, bird_name, intro, body 필드에는 full_text_search 옵션을 활성화하고 image_embedding 필드에는 Gemini Embedding 2 모델로 생성된 768차원 벡터를 할당했다. SchemaBuilder를 통해 텍스트 필드에 언어 설정과 어간 추출(stemming) 옵션을 적용하여 인덱스를 구축했다. 이 구조는 키워드 기반의 BM25 스코어링과 벡터 기반의 코사인 유사도를 모두 활용할 수 있는 기반이 된다.
BM25는 정보 검색에서 문서의 관련성을 평가하는 데 널리 사용되는 랭킹 함수로, 키워드 빈도와 문서 길이를 고려한다.
텍스트 기반 키워드 및 Lucene 구문 검색 시연
단순 텍스트 검색에서는 'Mormon crickets'라는 특정 문구를 body 필드에서 정확히 매칭(Exact Phrase Match)하여 관련 문서를 즉시 찾아냈다. Pinecone은 Lucene 쿼리 구문을 지원하므로 'eagle^3 OR hawk OR raptor'와 같이 특정 단어에 가중치(Boost)를 부여하는 복잡한 쿼리 작성이 가능하다. 쿼리 실행 시 내부적으로 query_string 타입의 스코어링이 발생하며, 이는 단순 유사도 검색으로 찾기 힘든 고유 명사나 전문 용어 검색에 효과적이다. 결과적으로 사용자는 표준 검색 엔진과 유사한 정밀한 텍스트 제어 능력을 갖게 된다.
Lucene은 자바 기반의 오픈소스 정보 검색 라이브러리로, 강력한 텍스트 인덱싱 및 검색 기능을 제공하는 표준적인 도구이다.
시각적 유사성 검색과 Gemini 임베딩 활용
Visual 검색 탭에서는 조류의 외형 묘사를 입력하여 이미지 벡터와 대조하는 방식을 보여준다. 사용자가 'tall pink wading bird with long curved neck'이라고 입력하면 Gemini Embedding 2 모델이 이 텍스트를 이미지와 동일한 벡터 공간으로 변환한다. Pinecone은 저장된 이미지 임베딩과 입력된 텍스트 임베딩 사이의 유사도를 계산하여 플라밍고, 저어새 등의 이미지를 결과로 반환했다. 이는 텍스트 데이터가 문서에 직접 포함되어 있지 않더라도 시각적 특징만으로 검색이 가능함을 입증한다.
멀티모달 임베딩은 텍스트와 이미지 등 서로 다른 형태의 데이터를 동일한 벡터 공간에 배치하여 상호 검색이 가능하게 한다.
하이브리드 결합 검색을 통한 검색 정확도 향상
텍스트 필터링과 벡터 검색을 결합한 Combined 검색은 가장 강력한 검색 경험을 제공한다. 일리노이주에서 본 '검은 날개에 밝은 점이 있는 새'를 찾기 위해 'swoop, illinois'라는 키워드 필터를 먼저 적용하고 외형 묘사 벡터 검색을 병행했다. 단순 벡터 검색 시에는 지역 정보가 무시되어 캘리포니아에 서식하는 새가 상위에 노출되었으나, 결합 검색 시에는 일리노이 관련 문서로 프리필터링(Pre-filtering)된 후 벡터 유사도가 계산되어 'Red-winged blackbird'가 정확히 1위로 도출됐다. 이 방식은 검색 범위를 하드 필터로 좁히고 그 안에서 의미적 순위를 매기므로 오탐지율을 획기적으로 낮춘다.
프리필터링(Pre-filtering)은 벡터 유사도 계산 전에 메타데이터나 텍스트 조건을 만족하는 데이터만 남기는 과정으로 검색 효율성을 높인다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 05. 06.수집 2026. 05. 07.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
