mnemo: LLM을 위한 로컬 우선 AI 메모리 레이어

섹션별 상세

텍스트를 입력받아 LLM을 통해 엔티티(사람, 도구, 개념 등)와 관계를 추출하고, 이를 SQLite에 원자적으로 저장한다.

6단계 파이프라인(청크 검색, 엔티티 검색, 그래프 탐색, 필터링, 랭킹, 프롬프트 조립)을 통해 관련 컨텍스트를 생성한다.

Rust로 작성된 4개의 크레이트(core, api, cli, bench)로 구성되며, Axum 기반의 REST API를 제공한다.

Apple M2 환경에서 전체 검색 파이프라인 처리 시간이 약 4.2ms로, 실시간 LLM 서비스에 적합한 성능을 제공한다.

용어 해설

지식 그래프(Knowledge Graph): — 엔티티와 그들 간의 관계를 그래프 구조로 표현한 데이터베이스입니다. mnemo는 대화에서 추출된 정보를 노드와 엣지로 저장하여, 단순 벡터 검색보다 복잡한 맥락적 연관성을 파악하는 데 활용합니다.
사이드카 서비스(Sidecar Service): — 메인 애플리케이션과 별도로 실행되면서 보조적인 기능을 수행하는 서비스입니다. mnemo는 LLM 애플리케이션 옆에서 대화 내용을 실시간으로 가로채고 메모리를 관리하는 역할을 합니다.
엔티티 추출(Entity Extraction): — 비정형 텍스트에서 사람, 장소, 도구, 개념 등 핵심 정보를 식별하여 구조화된 데이터로 변환하는 기술입니다. mnemo는 LLM을 사용하여 대화 내의 주요 정보를 추출합니다.

코드 예제

python

from mnemo import MnemoClient
client = MnemoClient()
# Store a memory
client.ingest("I'm building a Rust vector database called vecdb")
# Get context for injection into your next LLM prompt
print(client.get_context("what am I working on?"))

Python SDK를 사용하여 메모리를 저장하고 관련 컨텍스트를 검색하는 예시 코드

기술

Rust
SQLite
Ollama
Axum
petgraph

활용 사례

개인화된 LLM 메모리 시스템
로컬 RAG 파이프라인
지식 기반 챗봇

언급된 리소스

GitHubmnemo GitHub Repository