코딩 에이전트의 장기 기억 장치로 벡터 DB 대신 SQLite를 사용해야 하는 이유

실용적 조언

에이전트 메모리 구현 시 SQLite의 FTS5 모듈을 사용하여 키워드 기반 인덱싱을 먼저 시도해 보라.
LLM에게 '이 질문에 답하기 위해 과거 대화에서 검색해야 할 키워드 3가지를 뽑아줘'와 같은 프롬프트를 사용하여 검색 효율을 높여라.

섹션별 상세

작성자는 기존의 벡터 임베딩 기반 검색이 아닌 SQLite의 FTS5 전문 검색 기능을 활용하여 에이전트의 기억 장치를 구현했다. 사용자가 질문을 던지면 Claude 모델이 직접 검색에 적합한 키워드(예: 'database', 'migration')를 추출하여 쿼리를 생성하는 방식으로 작동한다. 이 과정에서 BM25 알고리즘이 적용되어 밀리초 단위의 빠른 검색 속도를 보장하며 외부 의존성 없이 로컬 환경에서 구동된다. 결과적으로 복잡한 인프라 없이도 에이전트가 과거의 특정 작업 맥락을 정확히 찾아낼 수 있게 되었다.

에이전트가 직접 검색 쿼리를 최적화하는 능력이 시스템의 핵심 성능을 좌우한다. 사용자의 모호한 질문을 받으면 LLM은 과거 대화에 등장했을 법한 기술 용어나 키워드를 추론하여 검색을 시도하며, 결과가 만족스럽지 않을 경우 키워드를 바꿔가며 반복 검색을 수행한다. 이러한 '추론 기반 검색' 방식은 단순한 의미론적 유사도 검색보다 대화의 맥락을 더 정확하게 짚어내는 경우가 많다. 실제 벤치마크 테스트 결과, 이 방식이 복잡한 임베딩 파이프라인을 가진 시스템보다 더 높은 점수를 기록했다.

대화 데이터의 특성상 키워드 기반 검색이 벡터 검색보다 유리할 수 있다는 실무적 통찰이 제시됐다. 사람들은 대화 중에 동일한 대상을 '데이터베이스 마이그레이션', '스키마 변경', 'ALTER TABLE' 등 다양한 방식으로 지칭하는데, LLM은 이들 사이의 연관성을 이해하고 적절한 키워드를 선택할 수 있다. 또한 대화의 분기(fork)나 되감기(rewind) 기능을 구현하여 에이전트가 대화의 흐름을 계층적으로 추적할 수 있도록 설계했다. 이는 에이전트가 세션이 시작될 때마다 중단된 지점을 정확히 인지하게 만든다.

용어 해설

전체 텍스트 검색 5(FTS5): — SQLite에서 제공하는 가상 테이블 모듈로, 텍스트 데이터 내에서 특정 키워드를 매우 빠르게 검색할 수 있도록 인덱싱 기능을 지원한다. 대량의 문서에서 전문 검색을 수행할 때 효율적이다.
BM25 알고리즘(BM25): — 검색어의 빈도와 문서의 길이를 고려하여 문서의 관련성을 평가하는 랭킹 함수이다. 전통적인 정보 검색 시스템에서 키워드 매칭의 정확도를 높이는 핵심 알고리즘으로 사용된다.
의미론적 유사도(Semantic Similarity): — 단순한 키워드 일치가 아닌 문장의 의미적 맥락이 얼마나 유사한지를 측정하는 방식이다. 주로 벡터 임베딩을 통해 계산되며, 단어가 달라도 의미가 비슷하면 검색 결과에 포함시킨다.

언급된 도구

SQLite추천

FTS5를 활용한 대화 기록 저장 및 전문 검색 엔진

Zep중립

상용 AI 메모리 시스템

Mem0중립

지식 그래프 기반 메모리 솔루션