MemForest: Hierarchical Temporal Indexing으로 효율적인 에이전트 메모리 관리

대형 언어 모델 에이전트의 장기 컨텍스트 기억은 기존 시스템의 전체 재쓰기와 직렬 의존으로 인해 확장성에 한계가 있다. MemForest는 parallel extraction과 MemTree를 통해 쓰기 경로를 분해하고, Temporal Scope를 MemTree로 계층화하여 지역적 업데이트를 가능하게 한다. 이로써 기억의 유연성/정확도와 시스템의 처리량 사이의 트레이드오프를 개선한다.

출발점: 기존 장기 메모리 시스템은 write-path에서의 직렬성(LLM 호출이 업데이트 경로를 잠금)과 전체 상태 재작성의 비용 문제를 가진다. 또한 시계열 데이터의 전개를 반영하지 못해 과거/전이 정보에 대한 질의에 취약하다. 이 문제를 해결하기 위해, 먼저 parallel extraction으로 새로운 증거를 분할 처리하고 canonical facts로 정리한다. 이 canonical facts를 다양한 temporal scopes(세션, 엔티티, 씬)로 라우팅하여 MemTree에 Leaves로 삽입한다. MemTree는 각 scope를 시간 순서의 트리로 구성해 Leaves가 시간 로컬 증거를 보존하도록 하고, Internal 노드가 구간을 요약한다. 유지관리 단계에서, 영향을 받은 경로의 노드만 dirty로 표시하고 lazy refresh를 통해 derived artifacts를 국부적으로 재생성한다. 쿼리 시에는 루트 요약에서부터 브라우징하고 interval 요약에서 Leaf까지 내려가며, temporal 구조를 보존한 채 정밀 증거를 확보한다. Planner-LLM 브라우징을 활용하면 각 트리별 하위 쿼리를 생성해 더 정확한 검색 경로를 제시한다. 결과적으로 쓰기 경로의 비용은 O(log N) 수준으로 제한되며, LongMemEval-S에서 MemForest는 stateful baselines 대비 우수한 성능을 유지한다.

1. Write-path: 청크 단위 Extraction → Canonical Fact Manager로 정규화 → Fact Route를 통해 Scope별 MemTree에 Insert → Dirty 경로를 Bottom-up으로 Refresh 2) MemTree: 각 scope를 MemTree로 구현; Leaves는 증거를 시간 순으로 저장하고 Internal 노드는 구간 요약, Root는 전체 forest의 coarse recall을 제공 3) Query-path: Root Recall + Tree Browse로 후보 트리 집합 생성 → 브라우징은 Root → Interval Summary → Leaf Evidence의 계층적 탐색 4) Lifecycle maintenance: Merge/Delete/Migration에서 persistent state를 먼저 갱신하고 영향을 받는 Derived Artifacts만 재생성 5) Complexity: MemTree 높이 h = ceil(log_k N); 한 개 Leaf 삽입 시 경로 길이 O(h)이며, B개의 삽입에 대해 전체 작업은 O(B log N)으로, 동일 레벨의 dirty 노드들은 병렬로 갱신 가능 6) Ablation: 엔티티/씬/세션의 3종 MemTree 조합의 효과, planner-guided vs embedding-only의 차이 분석

주요 벤치마크 LongMemEval-S에서 MemForest의 성능은 30B 설정에서 pass@1 79.8%를 달성했고, 4B 설정에서 70.4%를 달성했다(embedding-only variant 78.4%). LoCoMo 벤치마크에서도 MemForest가 전체적으로 강한 성능을 유지하며, 30B 설정에서 68.4%의 전체 점수를 기록했다. 쓰기 경로 효율성은 30B 빌더에서 MemForest가 178.0초/질문으로 MemoryOS 대비 약 13.7×, EverMemOS 대비 약 12.4×의 속도향상을 보였다. 쿼리 시간 측면에서 embedding-only 모드의 총 소요는 2.19초(30B)이며 planner-guided 모드는 4.60초로 다소 증가하지만 EverMemOS 대비 여전히 빠른 편이다. Ablation 연구에선 단일 트리 뷰의 한계로 인해 최적의 검색 정확도는 다중 트리 뷰(entity+scene+session) 조합에서 나며, planner-guided LLM 브라우징이 최고 정확도를 달성했다(60-question diag subset에서 90.0%); embedding-only 브라우징도 85.0%로 높은 편이다. Migration 실험에서 이미 구성된 메모리 상태의 합병은 순차 재생에 비해 약 2.4×~2.7×의 속도향상을 보였으며, 메모리 상태의 크기는 Seq와 Mig 간 차이가 1% 이내, 트리 수는 최대 8% 차이로 유사하게 유지되었다.

1. 아키텍처 구조: MemForest은 Persistence State와 Derived Artifacts를 구분하는 Shared Memory Substrate를 이용한다. Canonical facts는 모든 추출 파이프라인의 Write Unit으로 작동하며, 이후 Fact Manager를 통해 스코프에 라우팅된다. 2) 수학적 기초: MemTree의 높이 h = ceil(log_k N)이고, 한 번 삽입 시 leaf-to-root 경로를 따라 O(h) 작업이 필요하다. 다수의 삽입 시 O(B log N)의 구조적 작업이 발생하나, 같은 레벨의 dirty 노드들은 병렬로 갱신 가능하다. 3) 차별점: 기존의 Mutable Latest-State와 Independent Records 기반 시스템이 갖는 시간성/순차성 문제를 피하고, Canonical facts를 중심으로 유지 관리하며, 루트-구간-Leaf의 계층적 구조로 시간 정보를 명확히 보존한다. 4) 구현 및 세부: 서브스트레이트의 Derived Artifacts(루트-행 인덱스, 노드 임베딩 등)는 의존 경로가 교차하는 부분만 재생성되며, 비동기적 프레이밍으로 lazy refresh를 사용한다. 5) 확장성: 데이터 규모 증가에 따라 MemTree 유지관리의 이점이 커지며, Migration과 같은 후속 운영에서도 효과적이다.

논문은 LoCoMo 벤치마크에서 MemForest의 이점이 제한적일 수 있으며, 특정 고난도 다중-hop 질의나 어댑티브 컨텍스트 상황에서 전반적인 최상위 벤치마크보다 외부 baselines의 성능 차이가 커질 수 있음을 시사한다. 또한 planner-guided browse는 정확도 향상에 기여하지만 비용이 증가하므로,latency-민감한 배포에서는 embedding-only 모드가 대안이 된다.