CC News를 Parquet으로 변환해 로컬 임베딩을 생성하고 Pinecone에 일괄 업로드하는 재현 가능한 벡터 테스트셋 구축 워크플로

대규모 현실적 벡터 테스트셋을 재현 가능하게 구축하기 위해 CC News를 원본 소스로 삼아 Parquet 파일로 변환하고, 변환된 Parquet에서 로컬 환경으로 임베딩을 생성한 뒤 생성된 임베딩을 Pinecone에 일괄로 업로드하는 연속된 워크플로가 제안된다. 이 워크플로는 원본 수집에서 포맷 변환, 로컬 임베딩 생성, 벡터 DB로의 대량 삽입까지 전체 파이프라인을 연결하여 테스트셋의 일관성과 운용 편의성을 확보하는 목적을 가진다. 제시된 내용은 단계별 흐름을 분명히 하지만 임베딩 모델의 구체적 설정이나 성능 수치, 자동화 스크립트 등 구현 세부는 원문에 포함되어 있지 않다.