EVOLVEMEM: AutoResearch 기반의 자가 진화형 메모리 아키텍처

저장된 메모리가 기하급수적으로 증가하는 환경에서도 Retrieval 구성이 정적이라면 최적의 검색이 어려워진다. EVOLVEMEM은 저장 지식과 retrieval 구성을 함께 진화시키는 AutoResearch 프로세스로, 실패 로그를 바탕으로 구성 변화를 제안·적용하고 필요 시 재실험한다. 이 접근은 벤치마크 간 일반화 가능성을 보이며 LoCoMo와 MemBench에서 강력한 baselines를 상회한다.

출발점: 저장 메모리는 시간이 지나며 증가하지만 Retrieval 정책은 deployment 시점의 하이퍼파라미터처럼 고정된다. 이는 여러 질문 유형에 서로 다른 검색 전략이 필요하다는 사실과 충돌한다. 해결 원리: EVOLVEMEM은 three-view retrieval를 활용하고, 구성 파라미터를 하나의 structured action space로 묶어, LLM-powered diagnosis 모듈이 실패 로그를 분석해 원인-대응을 제안한다. Guarded meta-analyzer가 제안의 안정성을 확인하고 필요 시 롤백하며, 메모리 추출의 품질 관리와 대상-범주별 오버라이드를 통해 점진적 개선을 이룬다. 달라지는 점: 실패 로그에서 자동으로 새로운 구성 차원이 도출되어 초기 설계에 없던 차원들이 포함되었고, 이는 백분위 수준의 성능 향상을 가능하게 했다. 이로써 retrieval 파라미터의 가변성과 AutoResearch의 조합이 벤치마크 간 일반화 가능성을 보장한다.

1. 전체 접근: EVOLVEMEM은 memory store, retrieval layer, self-evolution engine의 3층 구조를 가진다. 2) 수집/저장: memory unit은 (c, µ, e, η)로 표현되며, sliding window와 extractor를 통해 memory를 생성하고 3단계 consolidation으로 품질을 유지한다. 3) Retrieval 구성: θ은 ksem, kkw, kstr, Bctx, mode, wv, α, C, θc 등으로 이루어진 구조화된 액션 스페이스이며, 각 뷰의 후보와 fusion 방식(SUM/WEIGHTED-SUM/RRF)으로 최종 점수를 산출한다. 수식: s(q, mi; θ) = sfuse(q, mi; θ) + ιi + rec(mi) + ρi, (Eq.1) F(θ; K, Q) = 1/|Q| Σ_{(q,y*)∈Q} score(ŷ(q; θ, K), y*), (Eq.3) ŷ은 생성된 답변. 4) 진단 루프: Algorithm 1에 따라 실패 로그를 읽어 ∆θr를 제안하고, Eq.4의 업데이트 규칙에 따라 θ를 업데이트한다(재현성 확보를 위한 revert-on-regression, explore-on-stagnation 포함). 5) 재추출: 누락된 기억이 있으면 Vmiss를 바탕으로 부분 추출을 수행한다. 6) 수렴: fr−fr−1 < ϵ 또는 Rmax 도달 시 종료하며 가장 좋은 θ를 선택한다. 7) 구현/실험: LoCoMo/MemBench에서 7라운드 evolution, 200 QA/샘플을 평가하여 성능 개선을 확인한다.

LoCoMo에서 GPT-4o 기준 EVOLVEMEM의 Overall F1은 0.543으로, 베이스라인 SimpleMem의 0.432 대비 25.7% 상대 개선을 기록했다( BLEU 0.569). MemBench에서 GPT-4o 기준 Overall 정확도는 67.9%로 강력한 baselines 대비 18.9% 상대 향상을 보였다. GPT-5.1 기반 평가에서도 전체 성능이 상승하고, cross-benchmark 전이(CL→MemBench)로 MemBench에서 0.792의 점수까지 향상되었다. Cross-benchmark 전이는 LoCoMo에서 0.593, MemBench에서 0.792로 수렴했고, scratch 대비 16.6%의 우위를 보였다. Ablation 연구에서 Extraction quality control, Semantic search의 기여가 가장 크며, diagnosis 기반 차원 발견은 초기 공간의 한계를 확장하는 주요 원인임을 확인했다.

A-layer: Base Memory는 Sliding-window Extractor, Typing Store, Consolidator로 구성된다. Extraction은 window S(j)에서 c, µ, e, η를 산출하고, 매 턴마다 후속 단계로 넘어간다. consolidation은 ι의 감소, ρ의 증가, ㅇ 기하학적 합성으로 품질 보장을 수행한다. LLM Diagnosis는 Failure Logs를 입력으로 받아 categorize→analyze→suggest 구조의 루브릭을 통해 ∆θr를 산출한다. Layer 2의 Retrieval은 세 가지 뷰(kw, sem, str)와 RRF/weighted 합성, 엔티티 스와프 등의 보강 기법, per-category overrides를 제공한다. Eq.1의 s(q, mi; θ)와 Eq.3의 F(θ; K, Q) 기반으로 평가 지표를 최적화한다. Algorithm 1은 Evolution Loop의 구현으로, fr의 개선이 멈추면 종료하며, Algorithm 2는 메모리 관리 파이프라인의 구체 흐름을 제시한다. D.1–D.3은 저장소 스키마, 임베딩 백엔드, 효율성 분석 등을 제공한다. F이 삽입된 프로토콜은 회귀-재평가를 통한 안전한 탐색과 초과-발견된 파라미터의 재적용을 지원한다.

메모리 커버리지의 한계로 인해 POST_PROCESSING에서 여전히 관련 메모리가 부족한 경우가 있다. 또한 강건성 측면에서 Robustness가 상대적으로 취약한 편이며, real-world dynamic scenario에서의 적응성은 추가 연구가 필요하다.