Clarm: Vespa Cloud를 활용한 개발자 대상 에이전트 AI 기반 영업 자동화

섹션별 상세

오픈 소스 소프트웨어 창업자들이 겪는 수익화의 어려움을 해결하기 위해 Clarm 플랫폼이 탄생했다. 창업자들이 제품 개발에 집중하느라 놓치기 쉬운 마케팅, SEO, 콘텐츠 제작을 자동화하며, 특히 GitHub 리포지토리 데이터를 분석해 잠재적인 기업 구매자를 식별하고 랭킹을 매기는 리드 생성 기능을 제공한다.

LLM 기반 서비스에서 답변 생성보다 더 중요한 과제는 정확하고 설명 가능한 정보 검색(Retrieval) 시스템을 구축하는 것이다. Clarm은 수백만 개의 GitHub 데이터 포인트를 실시간으로 처리하고, 텍스트 검색과 벡터 임베딩을 결합하여 할루시네이션이 없는 신뢰할 수 있는 AI 응답의 근거 데이터를 확보해야 했다.

기존의 벡터 데이터베이스나 검색 엔진 대신 Vespa를 선택한 이유는 검색과 벡터 시스템이 통합된 구조 때문이다. Vespa는 랭킹과 텐서 연산 기능이 내장되어 있어 별도의 커스텀 랭킹 레이어 없이도 정확한 결과를 제공하며, Perplexity와 같은 대규모 서비스에서 검증된 아키텍처라는 점이 결정적이었다.

Vespa Cloud 도입을 통해 단 반나절 만에 인프라 설정을 완료하고 프로덕션에 배포하는 속도를 확보했다. 이는 Y Combinator 배치 기간 중 빠른 제품 출시가 필요했던 Clarm에게 큰 이점이 되었으며, 두 명의 엔지니어로 구성된 소규모 팀이 인프라 운영 부담 없이 제품 기능 개발에만 집중할 수 있는 환경을 조성했다.

Vespa의 통합 검색 파이프라인은 단일 쿼리 엔드포인트에서 텍스트, 벡터, 구조화된 필터를 동시에 처리한다. 실시간 인덱싱 기능을 통해 GitHub의 최신 이벤트와 사용자 상호작용을 즉시 검색 결과에 반영하며, 이는 라이브 리드 인텔리전스와 최신성이 보장된 AI 응답을 가능하게 한다.

Vespa Cloud의 리소스 사용량 및 비용 최적화 제안 대시보드 스크린샷이다. — ScreenshotCPU, 메모리, 디스크 사용량의 피크 수치와 이상적인 수치를 비교하여 보여준다. 현재 리소스 구성 대비 최적화된 리소스 구성을 제안하여 비용을 절감할 수 있는 구체적인 가이드를 제공함을 알 수 있다.

용어 해설

하이브리드 검색(Hybrid Search): — 키워드 기반의 텍스트 검색과 의미 기반의 벡터 검색을 결합한 방식이다. 단순 키워드 일치와 문맥적 유사성을 동시에 고려하여 검색 결과의 정확도와 관련성을 극대화한다.
제로 할루시네이션(Zero-Hallucination): — LLM이 허구의 정보를 생성하는 현상을 방지하기 위해, 검증된 외부 데이터 소스에서 추출한 정보만을 바탕으로 답변을 생성하도록 설계된 아키텍처이다.
텐서 연산(Tensor Operations): — 다차원 배열인 텐서를 활용한 수학적 연산이다. Vespa와 같은 엔진 내부에서 복잡한 랭킹 로직이나 머신러닝 모델의 추론을 직접 수행할 때 핵심적인 역할을 한다.
실시간 인덱싱(Real-Time Indexing): — 새로운 데이터가 시스템에 입력되는 즉시 검색 가능한 상태로 만드는 기술이다. GitHub 이벤트나 실시간 로그 분석처럼 최신성이 중요한 서비스에서 필수적이다.

기술

Vespa Cloud
Docker
LLM
GitHub API

활용 사례

AI 기반 리드 생성 및 영업 자동화
실시간 데이터 분석 및 리드 스코어링
제로 할루시네이션 고객 지원 챗봇

언급된 리소스

문서Vespa Cloud Resource Suggestions

문서Perplexity builds AI Search at scale on Vespa.ai