대규모 벡터 테스트를 위한 Parquet 기반 파이프라인 설계
Hugging Face의 CC News를 원문으로 Parquet 기반 파이프라인을 구성해 텍스트를 청크화하고 로컬에서 BAAI/bge-large-en-v1.5(1024차원) 임베딩을 생성한 뒤 Pinecone 대량 import 용 파일로 준비하는 워크플로를 정리했다.
Pinecone에서 수집한 AI/ML 콘텐츠를 모아볼 수 있는 전용 피드입니다.
Hugging Face의 CC News를 원문으로 Parquet 기반 파이프라인을 구성해 텍스트를 청크화하고 로컬에서 BAAI/bge-large-en-v1.5(1024차원) 임베딩을 생성한 뒤 Pinecone 대량 import 용 파일로 준비하는 워크플로를 정리했다.
Pinecone의 텍스트 매치 필터는 문서 본문 텍스트 기준으로 벡터 검색 후보군을 사전 제한해 에이전트의 잘못된 추론과 후속 비용을 줄인다.
Pinecone이 텍스트 필드(BM25)와 벡터를 단일 스키마 인덱스에서 함께 검색할 수 있는 Full Text Search를 Public Preview로 제공했다.