Mind Palace: LLM 애플리케이션을 위한 스마트 메모리 저장 및 검색 라이브러리

섹션별 상세

mp.remember() 메서드는 대화 세션이나 추론 생성 후 호출되어 메시지에서 중요한 정보를 추출하고 이를 벡터 저장소에 메모리 형태로 변환하여 저장한다. 이 과정에서 데이터의 중복을 제거하고 메타데이터를 자동으로 생성하여 향후 검색 효율성을 높인다.

mp.recall() 메서드는 다음 LLM 요청을 처리하기 전에 호출되어 현재 요청과 관련된 과거의 기억들을 지능적으로 찾아낸다. 또한 모든 요청에 공통적으로 필요한 핵심(core) 메모리를 함께 반환하여 LLM이 답변을 생성할 때 풍부한 배경 지식을 가질 수 있도록 돕는다.

메모리는 성격에 따라 단기(short-term), 장기(long-term), 핵심(core) 메모리로 분류되어 관리된다. 단기 메모리는 설정된 시간이 지나면 오래된(stale) 상태가 되어 검색 결과에서 제외되는 등 자동 유지보수 기능을 갖추고 있다.

다중 사용자 환경을 위해 userId와 groupId를 통한 데이터 격리 기능을 지원한다. 특히 Pinecone 저장소를 사용할 경우 네임스페이스(namespace)를 활용해 사용자별 데이터를 물리적으로 분리함으로써 보안과 쿼리 성능을 동시에 확보한다.

사용자는 기본 제공되는 통합 환경 외에도 ILLM 및 IVectorStore 인터페이스를 상속받아 자신만의 LLM 서비스나 벡터 데이터베이스 연동 로직을 직접 구현하여 확장할 수 있다.

기술

OpenAI
Claude
Gemini
Weaviate
Pinecone
TypeScript

활용 사례

지속적인 기억을 가진 AI 챗봇
사용자별 맞춤형 정보를 기억하는 개인 비서
대규모 대화 이력을 효율적으로 관리하는 고객 응대 시스템

언급된 리소스

GitHubMind Palace GitHub Repository