MemPalace: 모든 LLM 엔드포인트에 메모리 기능을 추가하는 OpenAI 호환 프록시

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

MemPalace는 사용자의 LLM 엔드포인트 변경 없이 메모리 기능을 추가할 수 있는 오픈소스 프록시 서버이다. 이 도구는 대화 요청 시마다 관련 메모리를 검색하여 컨텍스트를 주입하고, 대화가 종료되면 이를 다시 로컬 저장소에 기록하는 방식으로 작동한다. 사용자는 기존 OpenAI SDK를 그대로 사용하면서 엔드포인트 주소만 MemPalace 프록시로 변경하여 즉시 개인화된 에이전트를 구축할 수 있다. 로컬 환경에서 데이터를 관리하므로 보안성이 높으며, 스트리밍 응답도 지원하여 실시간 대화 서비스에 적합하다.

배경

Python 환경 및 uv 패키지 매니저, 실행 중인 LLM 엔드포인트 (예: Ollama, LocalAI 등), 기본적인 환경 변수 설정 및 API 호출 지식

대상 독자

로컬 환경에서 LLM 에이전트의 장기 기억 기능을 구현하려는 개발자

의미 / 영향

이 도구는 복잡한 벡터 데이터베이스나 RAG 파이프라인을 직접 구축하지 않고도 프록시 계층에서 간단히 메모리를 관리할 수 있게 해줍니다. 특히 개인정보 보호가 중요한 로컬 LLM 사용자들에게 효율적인 컨텍스트 관리 솔루션을 제공합니다.

섹션별 상세

기존 LLM 서비스의 상태 비저장(Stateless) 특성으로 인해 과거 대화를 기억하지 못하는 한계가 있었다. MemPalace는 LLM 엔드포인트 전면에 위치하여 대화 내용을 로컬에 저장하고 요청 시마다 관련 정보를 검색해 모델에 전달한다. 이를 통해 별도의 모델 튜닝 없이도 장기 기억을 가진 에이전트를 구현할 수 있다.

근거

MemPalace는 OpenAI 호환 프록시로서 기존 LLM 엔드포인트에 메모리 기능을 부여한다. — README.md의 'MemPalace Agent' 섹션 첫 문장

프록시 서버는 요청이 들어오면 세 가지 핵심 단계를 거쳐 메모리를 관리한다. 먼저 초기 설정된 웨이크업 컨텍스트를 로드하고, 사용자의 질문과 관련된 과거 대화 내용을 축자(Verbatim) 검색으로 찾아낸 뒤, 최종 답변을 다시 저장소에 기록한다. 이 모든 과정은 사용자의 로컬 디렉토리 내 `.mempalace/` 폴더에서 이루어진다.

bash

AGENT_LLM_BASE_URL="http://localhost:8000/v1" \
AGENT_LLM_MODEL="your-model" \
uv run agent.py --data ~/my-agent

MemPalace 에이전트를 로컬에서 실행하고 데이터 저장 경로를 지정하는 명령어

근거

메모리 저장소는 사용자가 지정한 데이터 경로 하위의 .mempalace/ 디렉토리에 생성된다. — Notes 섹션의 'The memory store lives under --data/.mempalace/'

개발자는 `uv` 패키지 매니저를 사용하여 환경 변수 설정만으로 간편하게 서버를 구동할 수 있다. `AGENT_LLM_BASE_URL`과 모델명을 지정하면 기본적으로 8001번 포트에서 OpenAI 규격의 API를 서빙한다. 기존에 작성된 `curl` 요청이나 OpenAI 라이브러리 코드를 거의 수정하지 않고 엔드포인트 URL만 바꾸면 즉시 연동된다.

bash

curl http://127.0.0.1:8001/v1/chat/completions \
-X POST \
-H 'Content-Type: application/json' \
--data-raw '{"messages":[{"role":"user","content":"whats my name?"}],"stream":false}'

프록시 서버를 통해 메모리에 저장된 정보를 조회하는 API 호출 예시

용어 해설

OpenAI-Compatible Proxy: — OpenAI API 규격을 따르는 클라이언트와 실제 LLM 엔드포인트 사이에서 요청을 중계하는 서버입니다. 이를 통해 기존 OpenAI SDK나 도구를 그대로 유지하면서도 중간에 메모리 추가나 로깅 같은 사용자 정의 기능을 삽입할 수 있습니다.
Wake-up Context: — 에이전트가 실행될 때 초기화되는 기본 배경 정보나 설정값입니다. 모델이 사용자의 이전 대화 스타일이나 핵심 정보를 미리 인지한 상태에서 대화를 시작할 수 있도록 돕는 역할을 합니다.
Verbatim Memory: — 대화 내용을 요약하거나 변형하지 않고 있는 그대로 저장하고 검색하는 방식입니다. 사용자의 정확한 발화나 고유 명사를 보존하여 검색 시 정확도를 높이고 대화의 맥락을 충실히 재현하는 데 중요합니다.

언급된 리소스

GitHubMemPalace GitHub Repository