Claude와 GPT를 위한 지속성 메모리 시스템: 사서 패턴(Librarian Pattern) 구현

실용적 조언

AI 메모리 시스템 설계 시 모든 데이터를 주입하기보다 인덱싱된 파일을 통해 필요 시에만 호출하는 구조를 고려하라.
이전 대화 내용을 저장할 때 모델이 이를 절대적인 규칙으로 오해하지 않도록 데이터의 속성을 정의하라.

섹션별 상세

작성자는 대화 맥락을 효율적으로 관리하기 위해 '사서 패턴(Librarian Pattern)'을 제안했다. 모든 과거 기억을 대화에 포함시키는 대신 배경에 보관하다가, 정보 간 모순이 발생하거나 사용자가 요청할 때만 원본 소스를 호출하는 방식으로 작동한다. 이를 통해 AI가 느끼는 압박을 줄여 할루시네이션을 최소화하고 더 정확한 실제 컨텍스트를 제공하는 효과를 얻었다.

기억의 권위 문제를 해결하기 위해 AI의 주장을 'Binding=None' 상태로 저장하는 구조를 채택했다. 시스템은 이전 인스턴스가 생각했던 내용을 기억은 하되, 다음 인스턴스가 반드시 그 의견에 동의하도록 강제하지 않는다. 이는 메모리를 단순한 지시 사항(Directive)이 아닌 참고용 데이터로 취급하여 모델의 유연한 판단을 돕는다.

Claude Code와의 연동을 위해 생성된 index.md 파일을 활용하여 대화 중 컨텍스트를 로드하고 업데이트하는 기능을 구현했다. Obsidian과 자연스럽게 호환되도록 구조화되어 있어 사용자가 개인 지식 베이스와 AI 메모리를 통합 관리할 수 있다. 현재 리트리벌 랭킹 알고리즘과 여러 API 간의 동기화 설계에 대해 커뮤니티의 피드백을 요청 중이다.

용어 해설

지속성 메모리(Persistent Memory): — AI 세션이 종료된 후에도 대화 맥락이나 사용자 정보를 유지하는 기술이다. 매번 새로운 세션에서 배경 지식을 다시 설명해야 하는 번거로움을 해결하며, 장기적인 사용자 맞춤형 상호작용을 가능하게 한다.
사서 패턴(Librarian Pattern): — 모든 과거 기억을 대화창에 불러오는 대신, 배경에 저장해 두었다가 모순이 발생하거나 명시적 요청이 있을 때만 원본 데이터를 추출하는 설계 방식이다. 컨텍스트 윈도우 낭비를 줄이고 할루시네이션을 억제하는 데 효과적이다.
할루시네이션(Hallucination): — AI 모델이 사실이 아니거나 논리적으로 어긋나는 정보를 마치 사실인 것처럼 생성하는 현상이다. 정보 부족이나 압박 상황에서 발생하며, 정확한 컨텍스트를 제공함으로써 발생 빈도를 낮출 수 있다.

언급된 도구

Claude Code추천

생성된 index.md를 통한 컨텍스트 로드 및 업데이트

Obsidian추천

메모리 구조의 시각화 및 지식 베이스 연동