MemPalace: 모든 LLM 엔드포인트에 메모리 기능을 추가하는 OpenAI 호환 프록시

섹션별 상세

기존 LLM 서비스의 상태 비저장(Stateless) 특성으로 인해 과거 대화를 기억하지 못하는 한계가 있었다. MemPalace는 LLM 엔드포인트 전면에 위치하여 대화 내용을 로컬에 저장하고 요청 시마다 관련 정보를 검색해 모델에 전달한다. 이를 통해 별도의 모델 튜닝 없이도 장기 기억을 가진 에이전트를 구현할 수 있다.

프록시 서버는 요청이 들어오면 세 가지 핵심 단계를 거쳐 메모리를 관리한다. 먼저 초기 설정된 웨이크업 컨텍스트를 로드하고, 사용자의 질문과 관련된 과거 대화 내용을 축자(Verbatim) 검색으로 찾아낸 뒤, 최종 답변을 다시 저장소에 기록한다. 이 모든 과정은 사용자의 로컬 디렉토리 내 `.mempalace/` 폴더에서 이루어진다.

bash

AGENT_LLM_BASE_URL="http://localhost:8000/v1" \
AGENT_LLM_MODEL="your-model" \
uv run agent.py --data ~/my-agent

MemPalace 에이전트를 로컬에서 실행하고 데이터 저장 경로를 지정하는 명령어

개발자는 `uv` 패키지 매니저를 사용하여 환경 변수 설정만으로 간편하게 서버를 구동할 수 있다. `AGENT_LLM_BASE_URL`과 모델명을 지정하면 기본적으로 8001번 포트에서 OpenAI 규격의 API를 서빙한다. 기존에 작성된 `curl` 요청이나 OpenAI 라이브러리 코드를 거의 수정하지 않고 엔드포인트 URL만 바꾸면 즉시 연동된다.

bash

curl http://127.0.0.1:8001/v1/chat/completions \
-X POST \
-H 'Content-Type: application/json' \
--data-raw '{"messages":[{"role":"user","content":"whats my name?"}],"stream":false}'

프록시 서버를 통해 메모리에 저장된 정보를 조회하는 API 호출 예시

용어 해설

OpenAI 호환 프록시(OpenAI-Compatible Proxy): — OpenAI API 규격을 따르는 클라이언트와 실제 LLM 엔드포인트 사이에서 요청을 중계하는 서버입니다. 이를 통해 기존 OpenAI SDK나 도구를 그대로 유지하면서도 중간에 메모리 추가나 로깅 같은 사용자 정의 기능을 삽입할 수 있습니다.
웨이크업 컨텍스트(Wake-up Context): — 에이전트가 실행될 때 초기화되는 기본 배경 정보나 설정값입니다. 모델이 사용자의 이전 대화 스타일이나 핵심 정보를 미리 인지한 상태에서 대화를 시작할 수 있도록 돕는 역할을 합니다.
축자 메모리(Verbatim Memory): — 대화 내용을 요약하거나 변형하지 않고 있는 그대로 저장하고 검색하는 방식입니다. 사용자의 정확한 발화나 고유 명사를 보존하여 검색 시 정확도를 높이고 대화의 맥락을 충실히 재현하는 데 중요합니다.

기술

OpenAI API
Python
uv
agent.py

활용 사례

개인용 AI 비서의 장기 기억 구현
로컬 LLM 기반의 컨텍스트 유지 챗봇
기존 LLM 앱의 메모리 기능 확장

언급된 리소스

GitHubMemPalace GitHub Repository