MemPalace 해설: RAG를 넘어선 AI 에이전트용 장기 메모리 구축하기

섹션별 상세

기존 RAG나 요약 기반 메모리 시스템은 LLM이 중요도를 판단해 정보를 압축하는 과정에서 맥락과 세부 사항이 손실되는 문제가 있었다. MemPalace는 모든 대화와 프로젝트 데이터를 원문 그대로 저장하는 'Store Everything' 접근 방식을 채택해 정보의 완전성을 유지한다. 이를 통해 사용자는 AI의 답변 근거를 원본 로그에서 직접 확인할 수 있는 추적성을 확보하게 된다. LongMemEval 테스트 결과 96.6%의 높은 회상률을 기록하며 데이터 보존의 우수성을 입증했다.

MemPalace는 장소법(Method of Loci)에 기반한 다층적 계층 구조를 통해 메모리를 조직화한다. 최상위 분류인 Wing(프로젝트/개인)부터 Room(주제), Hall(유형: 사실, 이벤트 등), Drawer(원본 텍스트)로 이어지는 구조는 검색 범위를 효과적으로 좁혀준다. 이러한 구조적 설계는 단순한 평면적 벡터 데이터베이스보다 문맥 이해도가 높고 정교한 추론을 가능하게 한다. 필요에 따라 AAAK 압축 기술을 적용한 Closet을 통해 저장 효율성을 높일 수도 있다.

데이터 유입 시 512 토큰 단위로 청킹하고 역할, 턴 번호, 타임스탬프 등의 메타데이터를 태깅하여 ChromaDB에 저장한다. 검색 시에는 사용자의 쿼리를 벡터화하여 코사인 유사도 기반으로 가장 관련 있는 Drawer를 찾아내며, 최소 점수 임계값(0.70)을 적용해 무관한 정보의 유입을 차단한다. 검색된 최상위 K개의 메모리 조각은 시스템 프롬프트 앞에 구조화된 블록 형태로 주입되어 LLM이 과거 맥락을 인지하게 한다. 이 과정은 전체 이력을 다 넣지 않으므로 토큰 비용을 최적화하면서도 필요한 기억만 소환한다.

LangGraph 프레임워크와의 통합을 통해 자율적인 메모리 관리 에이전트를 구축할 수 있다. 검색 노드(Retrieve), 대화 노드(Chat), 저장 노드(Save), 요약 노드(Summarize)를 상태 머신으로 연결하여 워크플로우를 자동화한다. 예를 들어 대화가 15턴 쌓일 때마다 자동으로 메모리를 저장하고, 전체 용량이 임계치를 넘으면 오래된 정보를 요약 압축하여 저장 공간을 확보하도록 설계할 수 있다. 이는 AI 에이전트가 단발성 도구를 넘어 지속적인 학습 시스템으로 진화하는 기반이 된다.

용어 해설

축자적 메모리(Verbatim Memory): — 데이터를 요약하거나 변형하지 않고 원문 그대로 저장하는 방식이다. LLM이 중요도를 판단해 정보를 누락시키는 요약 방식과 달리, 대화의 모든 맥락과 세부 사항을 보존하여 나중에 정확하게 재구성할 수 있게 한다.
장소법(Method of Loci): — 기억하고자 하는 항목을 익숙한 장소의 특정 위치에 배치하여 기억하는 고대 암기 기술이다. MemPalace는 이 개념을 차용해 Wing, Room, Hall, Drawer와 같은 계층적 구조로 메모리를 조직화한다.
컨텍스트 주입(Context Injection): — 검색된 과거의 기억이나 관련 정보를 LLM의 시스템 프롬프트에 직접 삽입하는 기법이다. 전체 이력을 다 넣는 대신 가장 관련성 높은 조각만 선별해 주입함으로써 토큰 효율성을 높이고 모델의 응답 정확도를 개선한다.
계층적 탐색 가능 작은 세상(HNSW): — 고차원 벡터 데이터에서 유사한 항목을 빠르게 찾기 위한 근사 근접 이웃(ANN) 검색 알고리즘이다. 수 밀리초 내에 수만 개의 메모리 중 가장 유사한 것을 찾아내는 성능을 제공하며 ChromaDB의 핵심 인덱싱 구조로 사용된다.

기술

MemPalace
LangGraph
ChromaDB
Python
OpenAI API
Sentence-Transformers

활용 사례

지속적인 문맥 유지가 필요한 코딩 어시스턴트
사용자 선호도를 기억하는 개인용 AI 비서
복잡한 프로젝트 이력을 추적해야 하는 협업 에이전트

언급된 리소스

GitHubMemPalace GitHub