프로덕션 환경에서의 AI 메모리 인프라 구축 경험과 교훈

실용적 조언

메모리 저장 전 'is this fact worth remembering' 프롬프트를 가진 3B 규모의 로컬 모델로 필터링을 수행하라.
정확한 수치가 중요한 데이터는 문자열 임베딩과 구조화된 값(Value)을 동시에 저장하는 이중 임베딩 방식을 사용하라.
개인정보가 민감한 도메인에서는 Ollama와 Qdrant를 조합한 자체 호스팅 스택을 우선 고려하라.

섹션별 상세

모든 메시지를 저장하는 대신 메모리 가치에 따른 신호 감지 단계를 도입했다. 경량 모델을 프리필터로 사용하여 사용자 메시지를 고신호(선호도, 목표), 중신호(세션 맥락), 무신호(인사말)로 분류하고 저장 여부를 결정한다. 이 과정을 통해 헬스케어 클라이언트 사례에서 불필요한 잡담 데이터가 중요한 의료 정보를 가리는 문제를 해결하고 검색 품질을 대폭 향상했다.

메모리를 단일 저장소가 아닌 사용자 스코프와 세션 스코프로 분리하여 관리했다. 사용자의 핵심 선호도와 같은 장기 메모리와 현재 진행 중인 작업과 같은 단기 메모리를 구분하여 저장함으로써 검색 시 두 정보가 상충하는 문제를 방지한다. 쿼리 의도에 따라 장기 메모리를 우선 검색하고 세션 메모리를 보조적으로 활용하는 구조를 통해 시스템의 일관성을 확보했다.

순수 시맨틱 검색의 한계를 극복하기 위해 그래프 레이어와 상태 플래그를 결합한 하이브리드 검색을 구현했다. 대명사 해결 문제나 업데이트된 선호도 충돌을 해결하기 위해 엔티티 관계를 추적하는 그래프와 최신성을 나타내는 staleness 플래그를 활용한다. 이를 통해 '매운 음식을 좋아함'에서 '더 이상 못 먹음'으로 바뀐 정보 중 최신 정보를 정확히 반환하도록 개선했다.

전체 문맥 주입 방식보다 선택적 검색 방식이 비용과 성능 면에서 우수함을 입증했다. LOCOMO 벤치마크 결과, 선택적 검색은 전체 문맥 방식 대비 토큰 사용량을 90% 절감하고 지연 시간을 9.87초에서 0.71초로 단축했다. 정확도 측면에서도 관련성 높은 5개의 메모리만 사용하는 것이 수십 개의 관련 없는 정보를 포함하는 것보다 26% 더 높은 점수를 기록했다.

용어 해설

시맨틱 검색(Semantic Retrieval): — 단어의 표면적 일치 대신 의미적 유사성을 바탕으로 정보를 찾는 방식이다. 임베딩 모델을 통해 텍스트를 벡터로 변환하고 유사도를 계산하여 맥락상 가장 가까운 정보를 추출하며, RAG 시스템의 핵심 구성 요소로 활용된다.
하이브리드 검색(Hybrid Retrieval): — 의미 기반의 시맨틱 검색과 키워드 기반의 어휘 검색(또는 그래프 관계)을 결합한 방식이다. 고유 명사나 수치 데이터에 취약한 시맨틱 검색의 한계를 보완하여 검색의 정확도와 재현율을 동시에 높이는 기법이다.
컨텍스트 윈도우(Context Window): — LLM이 한 번에 처리할 수 있는 최대 토큰 범위를 의미한다. 최근 윈도우 크기가 비약적으로 커졌으나, 모든 데이터를 주입할 경우 비용 상승과 지연 시간 증가, 정보 집중도 저하 문제가 발생하여 효율적인 관리가 필수적이다.
쓰기 경로 경합(Write-path Contention): — 여러 프로세스가 동시에 데이터베이스에 쓰기 작업을 시도할 때 발생하는 자원 충돌 현상이다. 프로덕션 환경에서 메모리 업데이트가 빈번할 때 시스템 성능을 저하시키는 주요 원인이 되며 세마포어나 배치 처리로 해결한다.

언급된 도구

Mem0추천링크

AI 에이전트를 위한 지능형 메모리 계층 관리 라이브러리

Qdrant추천링크

자체 호스팅이 가능한 고성능 벡터 데이터베이스

Ollama추천링크

로컬 환경에서 LLM 및 임베딩 모델을 실행하기 위한 엔진

언급된 리소스

GitHubMem0 GitHub Repository

논문LOCOMO Benchmark Paper (arXiv 2504.19413)