Weave CLI: 11개 벡터 DB를 통합하고 RAG 파이프라인을 평가하는 오픈소스 도구

섹션별 상세

01

RAG 시스템은 벡터 DB, 임베딩 모델, 청킹 전략 등 수많은 설정 조합으로 인해 시스템 성능을 정량적으로 파악하기 어렵다. 기존 방식은 설정 변경 시 결과 변화를 측정할 기준이 없어 'vibe-checking'에 의존하게 된다.

02

Weave CLI는 11개 벡터 DB를 단일 인터페이스로 래핑하여 설정 파일만으로 DB, 임베딩, 에이전트를 교체할 수 있다. Go 언어로 작성된 단일 바이너리로 배포되어 네트워크 격리 환경에서도 안정적으로 동작한다.

go

type VectorDBClient interface {
	Health(ctx context.Context) error
	CollectionOperations
	DocumentOperations
	QueryOperations
	SchemaOperations
}

11개 벡터 데이터베이스를 통합하기 위한 VectorDBClient 인터페이스 정의

yaml

databases:
  default: qdrant

vector_databases:
  - name: qdrant
    type: qdrant-cloud

    url: ${QDRANT_URL}
    api_key: ${QDRANT_API_KEY}
    timeout: 60

  # Vector configuration
  vector_dimensions: 1536
  similarity_metric: Cosine

벡터 데이터베이스 설정을 관리하는 YAML 구성 파일 예시

Weave CLI의 입출력 흐름을 보여주는 다이어그램 — Diagram자연어 쿼리가 입력되어 Weave CLI를 거쳐 인용이 포함된 답변과 벡터 DB 업데이트가 이루어지는 과정을 보여준다. 설정에 따라 모든 과정이 교체 가능함을 강조한다.

Weave CLI의 고수준 시스템 아키텍처 다이어그램 — DiagramCLI 레이어, 실행기, 에이전트 레이어, LLM 통합, 벡터 DB 어댑터, 임베딩 공급자 등 전체 시스템의 구성 요소와 데이터 흐름을 시각화한다.

VectorDBClient 인터페이스 정의 코드 — Screenshot컬렉션, 문서, 쿼리, 스키마 작업을 포함하는 통합 인터페이스 구조를 보여주며, 다양한 벡터 DB를 일관되게 다루는 핵심 설계를 설명한다.

03

Opik을 통합하여 LLM 호출, 에이전트 단계, DB 쓰기 작업을 OpenTelemetry 스팬으로 추적하고 비용과 지연 시간을 시각화한다. 이를 통해 사소한 설정 오류나 병목을 즉시 발견하고 디버깅할 수 있다.

go

type Agent interface {
	Name() string
	Execute(ctx context.Context, input interface{}) (interface{}, error)
}

Weave CLI에서 에이전트 기능을 구현하기 위한 공통 인터페이스

Weave CLI의 에이전트 레이어 구성도 — Diagram사용자 대면 에이전트와 오케스트레이션 에이전트, 도메인 헬퍼 에이전트의 구조를 보여주며, 시스템의 지능형 레이어가 어떻게 구성되는지 설명한다.

Opik을 활용한 RAG 파이프라인의 측정 가능한 워터폴 차트 — Chart쿼리 분류부터 검색, 컨텍스트 빌드, 생성까지의 단계별 지연 시간과 비용을 Opik이 어떻게 추적하는지 보여준다.

04

baseline 데이터셋과 LLM 판정단을 활용해 설정 변경에 따른 성능을 정량적으로 비교하고 최적의 파라미터를 도출한다. 실험 메타데이터를 기록하여 모든 벤치마크 결과를 재현 가능하게 관리한다.

용어 해설

검색 증강 생성(RAG): — 외부 데이터베이스에서 관련 정보를 검색하여 LLM의 답변에 컨텍스트로 주입하는 기술이다. 모델의 환각을 줄이고 최신 정보에 기반한 답변을 생성하는 데 필수적이며, 청킹 전략과 임베딩 모델 선택이 성능을 결정한다.
벡터 데이터베이스(Vector Database): — 고차원 벡터 임베딩을 저장하고 유사도 검색을 수행하는 데이터베이스이다. RAG 시스템에서 질문과 관련된 문서를 빠르게 찾기 위한 핵심 저장소로 사용되며, 검색 정확도와 속도에 직접적인 영향을 미친다.
관측성(Observability): — 시스템의 내부 상태를 외부 출력(로그, 메트릭, 트레이스)을 통해 파악하는 능력이다. 복잡한 에이전트 워크플로에서 LLM 호출, 지연 시간, 비용, 오류 발생 지점을 추적하여 디버깅과 성능 최적화를 가능하게 한다.
멱등성(Idempotency): — 동일한 연산을 여러 번 수행해도 결과가 달라지지 않는 성질이다. 데이터 파이프라인에서 실패 시 재시작해도 중복 데이터 생성이나 상태 오류 없이 안전하게 작업을 완료하기 위해 필수적으로 요구되는 설계 원칙이다.

기술

Weave CLI
Opik
Go
OpenTelemetry
Weaviate
Milvus
Qdrant
OpenAI

활용 사례

RAG 시스템 성능 최적화
벡터 데이터베이스 비교 평가
에이전트 워크플로 관측 및 디버깅

언급된 리소스

GitHubWeave CLI GitHub

DemoOpik Managed Platform