코딩 에이전트의 장기 기억 장치로 벡터 DB 대신 SQLite를 사용해야 하는 이유

작성자의 미니멀리즘 접근 방식에 대해 많은 사용자가 공감을 표하며, 오버엔지니어링을 경계해야 한다는 의견이 주를 이루고 있습니다.

• 에이전트 메모리 구현 시 SQLite의 FTS5 모듈을 사용하여 키워드 기반 인덱싱을 먼저 시도해 보라.
• LLM에게 '이 질문에 답하기 위해 과거 대화에서 검색해야 할 키워드 3가지를 뽑아줘'와 같은 프롬프트를 사용하여 검색 효율을 높여라.

FTS5

— SQLite에서 제공하는 가상 테이블 모듈로, 텍스트 데이터 내에서 특정 키워드를 매우 빠르게 검색할 수 있도록 인덱싱 기능을 지원한다. 대량의 문서에서 전문 검색을 수행할 때 효율적이다.

BM25

— 검색어의 빈도와 문서의 길이를 고려하여 문서의 관련성을 평가하는 랭킹 함수이다. 전통적인 정보 검색 시스템에서 키워드 매칭의 정확도를 높이는 핵심 알고리즘으로 사용된다.

Semantic Similarity

— 단순한 키워드 일치가 아닌 문장의 의미적 맥락이 얼마나 유사한지를 측정하는 방식이다. 주로 벡터 임베딩을 통해 계산되며, 단어가 달라도 의미가 비슷하면 검색 결과에 포함시킨다.