대규모 특허 검색의 신뢰성 확보: Melange가 Pinecone으로 구축한 AI 시스템 사례

섹션별 상세

특허 분석 기업 Melange는 수억 개의 글로벌 특허와 학술 논문에서 핵심 증거를 찾는 '선행 기술 조사'의 효율성을 높이기 위해 대규모 시맨틱 검색 시스템을 구축했다. 초기에는 오픈소스 Milvus를 직접 호스팅하여 사용했으나, 데이터셋이 4천만 건을 넘어서면서 메모리 부족으로 인한 시스템 충돌과 불안정성 문제에 직면했다. 특히 인프라 전담 엔지니어가 없는 소규모 팀 상황에서 클러스터 관리와 스케일링은 큰 운영 부담으로 작용했다.

Melange의 특허 검색 시스템 아키텍처 다이어그램 — Diagram사용자 쿼리가 LLM 처리를 거쳐 Custom Two-Tower 모델로 전달되고, Pinecone 내의 여러 네임스페이스를 검색하여 문서를 추출하는 전체 흐름을 보여준다. 검색된 수천 개의 문서가 LLM 필터링과 인간 검토를 거쳐 최종 100여 개로 압축되는 파이프라인 구조를 명확히 설명한다.

Pinecone의 서버리스 아키텍처는 저장소(Storage)와 쿼리 연산(Compute)을 분리하여 Melange의 대규모 데이터 처리 요구사항을 충족했다. 데이터는 불변의 '슬랩(Slab)' 단위로 저장되어 가용성에 영향을 주지 않고 로드 및 재구성될 수 있으며, 이는 기존 자체 구축 시스템에서 발생하던 메모리 병목 현상을 근본적으로 해결했다. 이를 통해 Melange는 검색이 수행될 때만 연산 비용을 지불하는 효율적인 비용 구조를 확보했다.

특허 검색의 핵심인 '높은 재현율(High Recall)'을 유지하기 위해 Pinecone의 최적화된 스캔 패턴과 인덱스 구조를 활용했다. Melange는 데이터셋의 크기가 커지거나 업데이트가 빈번해져도 검색 품질이 저하되지 않는 Pinecone의 성능을 높게 평가했다. 이는 단 하나의 누락된 문서가 소송 결과에 치명적인 영향을 미치는 특허 도메인의 특성을 반영한 결정이었다.

Melange는 Parquet 파일 기반의 벌크 임포트(Bulk Import) 파이프라인을 통해 대량의 임베딩 데이터를 Pinecone에 신속하게 로드한다. 이 방식은 기존 쿼리 성능에 영향을 주지 않으면서 새로운 슬랩을 생성하고 검증하며, 모델 테스트를 위한 새로운 네임스페이스(Namespace)를 즉시 생성할 수 있게 해준다. 덕분에 새로운 임베딩 모델을 도입하거나 데이터 소스를 확장할 때 인덱스 재구축에 드는 시간을 수 주에서 수 시간 단위로 단축했다.

Pinecone 도입 결과, Melange는 6억 개 이상의 벡터를 관리하는 안정적인 프로덕션 시스템을 운영하게 되었으며 연간 약 7만 5천 달러의 인프라 및 운영 비용을 절감했다. 인프라 관리 부담이 사라지면서 엔지니어들은 검색 품질 개선과 모델 혁신에 더 많은 시간을 할애할 수 있게 되었고, 모델의 시장 출시 주기(Model-to-market cycle)를 약 10% 단축하는 성과를 거두었다.

용어 해설

벡터 데이터베이스(Vector Database): — 데이터를 수치화된 벡터 형태로 저장하고 유사도 기반 검색을 수행하는 데이터베이스이다. 고차원 공간에서 가장 가까운 데이터를 빠르게 찾아내어 LLM의 검색 증강 생성(RAG)이나 시맨틱 검색의 핵심 기반이 된다.
재현율(Recall): — 검색 시스템이 실제로 관련 있는 전체 문서 중 얼마나 많은 비율을 찾아냈는지를 나타내는 지표이다. 특허 검색처럼 단 하나의 누락도 치명적인 분야에서는 정확도만큼이나 중요한 성능 측정 기준이다.
서버리스 아키텍처(Serverless Architecture): — 사용자가 서버 인프라를 직접 관리하거나 할당하지 않고, 실제 사용한 자원만큼만 비용을 지불하는 클라우드 컴퓨팅 모델이다. 운영 부담을 줄이고 데이터 규모에 따라 유연하게 확장할 수 있는 장점이 있다.
시맨틱 검색(Semantic Search): — 단순 키워드 일치가 아닌 단어의 의미와 문맥을 이해하여 검색 결과를 제공하는 방식이다. 임베딩 모델을 통해 텍스트의 의미를 벡터로 변환하여 질문의 의도에 가장 부합하는 정보를 찾아낸다.
슬랩 아키텍처(Slab Architecture): — Pinecone이 사용하는 구조로, 데이터를 작고 독립적인 슬랩 단위로 나누어 저장소와 연산을 분리한다. 이를 통해 대규모 데이터셋에서도 메모리 병목 없이 안정적인 성능과 비용 효율적인 확장이 가능하다.

기술

Pinecone
Milvus
Parquet
Google Cloud

활용 사례

특허 선행 기술 조사(Prior Art Search)
대규모 학술 문서 검색
법률 기술(Legal Tech) 분석 도구

언급된 리소스

문서Millions at Stake: How Melange's High-Recall Retrieval Prevents Litigation Collapse