widemem: Ollama와 sentence-transformers를 활용한 완전 로컬 오픈소스 메모리 레이어

실용적 조언

개인정보가 포함된 LLM 애플리케이션 개발 시 클라우드 API 대신 widemem과 Ollama 조합을 사용하여 보안을 강화할 수 있다.
중요도 점수를 활용해 특정 도메인(YMYL) 지식을 영구 보존하는 전략을 취할 수 있다.

섹션별 상세

widemem은 Ollama와 sentence-transformers를 활용하여 API 키나 클라우드 계정 없이 100% 로컬에서 작동하는 메모리 레이어를 구현했다. 데이터 저장은 SQLite와 FAISS를 조합하여 로컬 파일 시스템 내에서 처리하며, 어떠한 텔레메트리나 외부 전송도 포함하지 않는 것이 특징이다.

bash

pip install widemem-ai[ollama]
ollama pull llama3

widemem-ai 라이브러리 설치 및 Ollama를 통한 Llama 3 모델 다운로드 예시

단순한 벡터 데이터베이스 저장 방식에서 벗어나 중요도 점수(1-10)와 시간 경과에 따른 감쇠(Time Decay) 메커니즘을 도입했다. 이를 통해 사소한 정보는 시간이 지나면 잊히고, 중요한 사실은 장기적으로 유지되도록 설계하여 LLM의 컨텍스트 효율성을 높였다.

데이터 충돌 해결 기능을 갖추고 있어 상충하는 정보가 입력될 경우 자동으로 최신화한다. 예를 들어 거주지 변경과 같은 정보가 들어오면 기존 데이터를 단순히 중복 저장하는 대신 논리적으로 해결하며, 계층적 메모리 구조를 통해 개별 사실을 요약이나 테마로 묶어 관리한다.

YMYL(Your Money Your Life) 데이터에 대한 특수 처리를 지원한다. 건강, 법률, 금융과 관련된 민감하고 중요한 정보는 우선순위를 높게 설정하고 시간 감쇠 면제권을 부여하여 시스템이 해당 정보를 영구적으로 기억하도록 보장한다.

용어 해설

페이스(FAISS): — Facebook AI Research에서 개발한 고밀도 벡터의 효율적인 유사도 검색 및 클러스터링을 위한 라이브러리이다. 대규모 데이터셋에서 가장 유사한 벡터를 빠르게 찾는 기능을 제공하여 RAG 시스템의 핵심 구성 요소로 쓰인다.
시간 감쇠(Time Decay): — 시간이 지남에 따라 정보의 가치나 가중치를 점진적으로 줄이는 알고리즘 기법이다. 메모리 관리 시스템에서 오래된 정보보다 최신 정보를 우선시하거나, 중요도가 낮은 과거 데이터를 정리하는 데 사용된다.
YMYL: — Your Money or Your Life의 약자로, 사용자의 건강, 재정, 안전 등에 중대한 영향을 미칠 수 있는 콘텐츠 유형을 의미한다. 이 라이브러리에서는 이러한 민감한 정보를 특별 관리 대상으로 분류하여 삭제되지 않도록 보호한다.
계층적 메모리(Hierarchical Memory): — 정보를 단편적인 사실 단위에서 상위 개념의 요약이나 테마 단위로 계층화하여 저장하는 구조이다. LLM이 방대한 데이터를 처리할 때 세부 사항과 전체 맥락을 동시에 파악할 수 있도록 돕는다.

언급된 도구

widemem-ai추천

LLM 로컬 메모리 라이브러리

Ollama추천

로컬 LLM 실행 엔진

FAISS추천

벡터 검색 라이브러리

SQLite추천

로컬 데이터베이스

언급된 리소스

GitHubwidemem-ai GitHub Repository