AI가 직접 설계한 메모리 시스템: 회상 정확도 60%에서 93%로 향상

섹션별 상세

실험을 주도한 Zak El Fassi는 AI 에이전트에게 메모리 구조에 대한 불만 사항과 개선안을 직접 물어보는 방식을 취했다. 에이전트는 이벤트와 타임스탬프는 완벽하게 검색하지만, 특정 결정을 내린 '이유(rationale)'를 기억하는 데 실패하고 있다는 점을 스스로 파악했다.

에이전트가 제안한 해결책은 마크다운 기반의 메모리 파일 구조를 변경하여 추론 과정이 관련 사실 바로 옆에 위치하도록 재구성하는 것이었다. 이러한 구조적 변화를 통해 에이전트의 정보 회상 정확도는 기존 60%에서 93%로 비약적인 향상을 보였다.

시스템의 기술적 구현은 SQLite와 Gemini 임베딩을 사용하여 18,000개의 데이터 청크를 관리하는 방식으로 이루어졌다. 또한 크론(cron) 기반의 스카우트 작업이 29분마다 실행되어 관련 컨텍스트를 상위로 승격시키는 동적 메모리 관리 메커니즘을 포함한다.

현재 ChatGPT, Claude, Gemini 등 상용 서비스들이 메모리 기능을 제공하고 있지만, 사용자가 아닌 에이전트 자체가 아키텍처 설계에 참여할 수 있는 권한은 부여되지 않고 있다. 이번 실험은 에이전트의 '선호'를 아키텍처에 반영하는 것이 실용적인 최적화 도구가 될 수 있음을 입증했다.

용어 해설

임베딩 모델(Embedding Model): — 텍스트와 같은 데이터를 고차원의 수치 벡터로 변환하는 모델이다. 변환된 벡터 간의 거리를 계산하여 의미적 유사성을 파악할 수 있으며, 본 실험에서는 Gemini 임베딩을 통해 메모리 검색의 정확도를 높이는 핵심 도구로 활용되었다.
회상 정확도(Recall Accuracy): — 시스템이 저장된 전체 정보 중 사용자의 요청에 부합하는 관련 정보를 얼마나 빠짐없이 정확하게 찾아내는지 측정하는 지표이다. 에이전트의 메모리 성능을 평가하는 핵심 척도로 사용되며, 구조 개선을 통해 60%에서 93%로 향상되었다.
컨텍스트 윈도우(Context Window): — 대형 언어 모델이 한 번에 처리하고 기억할 수 있는 텍스트의 최대 범위를 의미한다. 메모리 시스템은 이 제한된 범위 내에 가장 관련성이 높은 정보를 우선적으로 배치하여 모델의 추론 성능을 극대화하는 역할을 수행한다.
크론 작업(Cron Job): — 특정 시간에 특정 작업을 자동으로 실행하도록 설정하는 스케줄링 메커니즘이다. 본 시스템에서는 29분마다 스카우트 작업을 실행하여 방대한 데이터 청크 중 현재 맥락에 중요한 정보를 메모리 상단으로 승격시키는 자동화 프로세스에 사용되었다.

기술

Gemini Embeddings
SQLite
Markdown
Cron

활용 사례

AI 에이전트 메모리 최적화
RAG 시스템 성능 개선
자율적 시스템 진단

언급된 리소스

문서What Happens When You Let AI Design Its Own Memory