본문으로 건너뛰기

RAG 이후의 검색: 하이브리드 검색, 에이전트, 그리고 데이터베이스 설계 - Turbopuffer의 Simon Hørup Eskildsen

Turbopuffer 창업자 Simon이 S3와 NVMe 기반 아키텍처를 통해 RAG와 에이전트 환경에 최적화된 고성능·저비용 검색 엔진을 구축한 기술적 여정과 인사이트를 공유한다.

섹션별 상세

Readwise의 추천 엔진 구축 과정에서 벡터 검색 비용이 전체 인프라 비용의 4배에 달하는 경제적 장벽을 발견하고 이를 해결하기 위해 Turbopuffer를 창업했다.
Readwise의 'Chat with Highlights' 기능 실행 화면 스크린샷이다.
ScreenshotTurbopuffer가 실제로 적용된 사례인 Readwise의 AI 기능을 보여준다. 사용자가 저장한 하이라이트 데이터를 기반으로 질문을 던지고 관련 출처를 참조하여 답변하는 RAG 시스템의 전형적인 UI를 확인할 수 있다.
2020년 도입된 S3의 강력한 일관성과 NVMe SSD의 대역폭을 활용하여 Zookeeper 같은 별도의 상태 관리 계층 없이 객체 스토리지를 기본 저장소로 사용하는 단순하고 효율적인 아키텍처를 구축했다.
Cursor는 Turbopuffer 도입을 통해 검색 비용을 95% 절감했으며 자체 임베딩 모델과 암호화 기술을 결합하여 보안과 경제성을 동시에 확보했다.
에이전트 워크로드의 등장으로 검색 패턴이 단일 호출에서 다수의 병렬 툴 호출로 변화함에 따라 높은 동시성을 처리할 수 있는 인프라의 중요성이 커지고 있다.
하이브리드 검색은 의미적 유사성뿐만 아니라 정확한 키워드 매칭과 정규표현식 검색을 결합하여 LLM 에이전트가 필요로 하는 정밀한 컨텍스트 추출을 지원한다.
P99 엔지니어 채용 철학을 통해 소프트웨어를 자신의 의지대로 최적화하고 하드웨어 성능 한계까지 밀어붙일 수 있는 고역량 인재 중심의 팀을 구성하여 기술적 우위를 유지한다.

용어 해설

검색 증강 생성(RAG)
외부 데이터베이스에서 관련 정보를 검색하여 대규모 언어 모델(LLM)의 입력 컨텍스트로 제공하는 기법이다. 모델의 학습 데이터에 없는 최신 정보나 특정 도메인의 지식을 활용할 수 있게 하여 답변의 정확도를 높이고 환각 현상을 줄이는 데 핵심적인 역할을 한다.
하이브리드 검색(Hybrid Search)
키워드 일치 기반의 전통적인 전문 검색(Full-text Search)과 의미적 유사성을 측정하는 벡터 검색을 결합한 방식이다. 특정 고유 명사나 코드 기호에 대한 정확한 매칭과 문맥적 의미 파악을 동시에 수행하여 검색 결과의 재현율과 정확도를 모두 개선한다.
S3 강력한 일관성(S3 Strong Consistency)
AWS S3 객체 스토리지에서 쓰기 작업 직후 읽기 시 최신 데이터를 즉시 반환하도록 보장하는 속성이다. 2020년 도입 이후 별도의 합의 계층(Consensus Layer) 없이도 객체 스토리지를 데이터베이스의 신뢰할 수 있는 저장소로 활용할 수 있게 하는 아키텍처적 기반이 되었다.
엔브이엠이(NVMe)
SSD와 같은 고속 저장 장치를 위해 설계된 통신 프로토콜로, 기존 SATA 방식보다 훨씬 높은 대역폭과 낮은 지연 시간을 제공한다. 클라우드 환경에서 NVMe SSD를 활용하면 메모리(DRAM)에 가까운 속도로 대량의 데이터를 처리할 수 있어 고성능 데이터베이스 구축에 필수적이다.

기술

  • Turbopuffer
  • AWS S3
  • NVMe SSD
  • Rust
  • Cursor API
  • PostgreSQL

활용 사례

  • 코드 베이스 의미론적 검색
  • 대규모 문서 추천 시스템
  • 에이전트용 병렬 툴 호출 검색
  • 저비용 벡터 인덱싱
AI 분석 전체 내용 보기

AI 요약 · 북마크 · 개인 피드 설정 — 무료

출처 · 인용 안내

원문 발행 2026. 03. 13.수집 2026. 03. 13.출처 타입 RSS

인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.