Graft: AI 에이전트와 마이크로서비스를 위한 영구 그래프 메모리

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

Graft는 AI 에이전트가 세션 종료나 컨텍스트 윈도우 제한으로 인해 학습한 내용을 잊어버리는 문제를 해결하기 위해 설계된 영구 메모리 시스템입니다. SQLite, sqlite-vec, FTS5 및 llama.cpp(BGE-M3 모델)를 결합하여 단일 바이너리 형태로 제공되며, 로컬 환경에서 밀리초 단위의 빠른 검색과 저장을 지원합니다. 단순한 리스트 형태가 아닌 키워드와 의미론적 엣지로 연결된 그래프 구조를 사용하여 정보 간의 관계를 유지하며, Claude Code나 ChatGPT 등 다양한 에이전트와 통합 가능합니다. SaaS나 API 키 없이 로컬에서 작동하므로 데이터 프라이버시와 비용 효율성을 동시에 확보할 수 있습니다.

배경

C11 컴파일 환경 (설치 시 필요), 기본적인 CLI 사용 능력, LLM 에이전트 및 RAG 개념에 대한 이해

대상 독자

LLM 기반 에이전트를 개발하거나 프로덕션 환경에서 RAG 비용 최적화가 필요한 AI 엔지니어

의미 / 영향

Graft는 복잡한 벡터 DB 인프라 없이도 개별 개발자나 소규모 팀이 강력한 메모리 시스템을 구축할 수 있게 합니다. 특히 로컬 퍼스트 접근 방식은 AI 에이전트의 개인화와 데이터 주권 문제를 해결하는 중요한 대안이 될 것입니다.

섹션별 상세

AI 에이전트가 세션마다 지식을 잊어버리는 문제를 해결하기 위해 로컬 기반의 영구 메모리 계층을 제공합니다. 사용자가 정보를 입력하면 BGE-M3 모델을 통해 임베딩되고 SQLite 데이터베이스에 그래프 노드로 저장되어 세션이 바뀌어도 지식이 유지됩니다. 이를 통해 에이전트는 과거의 디버깅 기록이나 특정 제약 사항을 즉시 다시 불러올 수 있습니다. 별도의 클라우드 계정 없이 단일 SQLite 파일로 모든 데이터를 관리할 수 있어 이식성이 뛰어납니다.

검색 성능 최적화를 위해 캐시 우선 전략과 하이브리드 검색 방식을 채택했습니다. 쿼리가 입력되면 먼저 검증된 최상위 매칭을 찾는 캐시 조회를 수행하여 수십 밀리초 내에 결과를 반환하며, 결과가 불확실할 경우에만 전체 검색을 수행합니다. BGE-M3를 이용한 벡터 검색과 FTS5를 이용한 어휘 검색을 RRF(Reciprocal Rank Fusion)로 결합하여 검색 정확도를 높였습니다. 이는 에이전트의 컨텍스트 윈도우에 불필요한 정보를 쏟아붓는 현상을 방지합니다.

마이크로서비스 아키텍처에서 LLM 호출 비용을 절감하기 위한 시맨틱 캐시 레이어로 활용될 수 있습니다. L1(Redis)에서 정확한 매칭을 확인하고, L2(Graft)에서 의미론적 유사성을 검증하며, 마지막 L3에서만 실제 LLM을 호출하는 3단계 구조를 제안합니다. L3에서 생성된 답변은 다시 Graft에 저장되어 다음 유사 요청 시 LLM 호출 없이 즉시 응답할 수 있게 합니다. 내부 테스트 기준 지연 시간을 500ms 이상에서 30~80ms 수준으로 단축하는 효과가 있습니다.

다양한 AI 개발 도구 및 에이전트와의 통합을 위해 MCP(Model Context Protocol) 및 CLI 인터페이스를 지원합니다. Claude Code, ChatGPT, Claude Desktop 등에서 MCP 서버를 통해 Graft의 메모리에 접근하거나 새로운 지식을 저장할 수 있습니다. 각 에이전트별로 독립된 프로필을 생성하여 프로젝트나 업무 성격에 따라 메모리를 격리하여 관리할 수 있습니다. 이는 멀티 에이전트 환경에서 공통된 지식 베이스를 공유하면서도 간섭을 최소화하는 구조입니다.

실무 Takeaway

반복적인 시스템 프롬프트나 지식 주입이 필요한 RAG 파이프라인에 Graft를 시맨틱 캐시로 도입하여 LLM API 비용을 최대 90%까지 절감할 수 있습니다.
Claude Code나 Cursor 같은 코딩 에이전트 사용 시 Graft를 연동하면 이전 세션에서 해결한 버그나 아키텍처 결정을 에이전트가 기억하게 하여 작업 연속성을 확보할 수 있습니다.
로컬 SQLite 파일 하나로 모든 메모리가 관리되므로, 민감한 기업 내부 지식을 외부 SaaS에 노출하지 않고도 고성능 벡터 검색 시스템을 구축할 수 있습니다.

언급된 리소스

GitHubGraft GitHub Repository