MEME: 다중 엔티티 및 진화하는 기억 평가

현대의 LLM 기반 에이전트는 여러 세션에 걸친 기억 저장, 업데이트, 추론이 필요하다. 그러나 기존 벤치마크는 독립 엔티티의 단일 업데이트만 평가해 왔다. MEME는 엔티티-범위와 시점별 동적 두 축을 정의하고 여섯 가지 과제를 제시해 의존성 추론과 기억 업데이트를 포괄적으로 검증한다. 실용 구간에서 의존성 추론(Cascade, Absence)과 삭제(Deletion)까지 포함하는 벤치마크는 현재의 기억 시스템이 실제 대화에서 직면하는 복잡한 변화에 어떻게 대응하는지 진단한다.

단계 1) LLM 에이전트의 기억은 단순 저장이 아니라 세션 간 변경이 누적되고 종속 규칙에 의해 파생 값이 달라지는 특성을 가진다. 단계 2) MEME은 엔티티의 수(단일 vs 다중)와 시간의 흐름(정적 vs 진화)을 축으로 삼아, 각 칸에 ER/Agg/Tr/Del/Cas/Abs의 대표 과제를 배치한다. 단계 3) DAG 기반 그래프를 통해 각 에피소드의 gold 값을 명확하게 계산하고, 실험에서 비교 가능한 ground-truth를 제공한다. 이 과정을 통해 의존성 변화가 어떻게 기억에 반영되고, 검색-추출-추론 파이프라인에서 어떤 고정적 한계가 나타나는지 분석한다.

• 전체 접근 방식: 엔티티 스코프 × 시간 동적 프레임에 따라 여섯 가지 과제를 매핑하고, 두 도메인에서 DAG 기반 지식 그래프로 에피소드를 생성한다. - 핵심 메커니즘: 기억 저장은 ingestion, maintenance, retrieval의 3단계로 구분되며, 규칙 기반의 의존성 전파를 gold로 구성한다. - 학습/구현 세부: self-chat으로 대화형 시나리오를 생성하고, Haystack 기반의 filler와 evidence 세션을 섞어 실제 운영에서의 노이즈를 모의한다. - 평가: GPT-4o 및 인간 주석자 간의 판단을 통해 정확성을 확인하고, Cascade/Absence/Deletion에 대해 “정답 전파 여부”를 엄격하게 평가한다. - 한계 및 비용 고려: 다양한 ablation과 비용 분석을 통해 실용적 한계를 밝히고, Opus 4.7 기반의 프런티어 구성이 비용 문제를 수반함을 보인다.

• 메인 벤치마크 결과: 모든 기억 시스템이 Cascade(0.03)와 Absence(0.01)에서 의존성 추론을 해결하지 못한다. Static SINGLE vs Multi-Evolving 축의 교차에서 다중-진화 셀은 0.02로 바닥에 가깝다. In-context 쿼리가 0.36 Overall로 가장 높고, MD-flat(0.42) 등의 실질 비용 대비 효율성 측면에서 우위를 보인다. - Ablation 결과: Top-k 재검색 증가나 더 강한 응답 LLM 교체로도 Cas/Abs가 대체로 개선되지 않는다. Internal LLM 교체 중 Opus 4.7을 MD-flat에 적용하면 Cascade 0.32, Absence 0.59로 개선되지만 비용은 대략 70× 증가한다. - 경향성 분석: prompt 최적화(Case Cas/Abs)로도 gap은 닫히지 않으며, 더 강한 내부 LLM만이 한계를 부분적으로 해소하지만 실용적 비용이 크다. - 실무 시사점: 다중 의존성-heavy 워크로드에 대해선 upstream 설계나 메모리 유지보수 전략이 필요하며, 현재의 practical-cost 옵션은 한계가 있다.

• 아키텍처 구성: 민감한 데이터와 연계된 DAG 기반 지식그래프(PL, SW 도메인) 위에 100개의 evaluation episodes를 생성한다. 각 episode은 루트 엔티티와 계보적 종속(다단계)을 가진 cascade/absense 타깃으로 구성되며, 각 엔티티의 값은 value pool에서 샘플링된다. - task 정의: ER(Exact Recall), Agg(Aggregation), Tr(Tracking), Del(Deletion), Cas(Cascade), Abs(Absence)로 매핑되며, Cascade/Absence의 gold는 업스트림 변경에 따른 전파 규칙에 의해 산출된다. - 데이터 생성: root 엔티티를 선택하고, Descendants를 따라가며 1~2-hop 종속 타깃을 설정, Absence 타깃에 대해서는 ⊥를 after-value로 설정한다. - verbalization: 사실 seeds를 3인칭으로 변환한 뒤, User LLM과 Assistant LLM이 self-chat 방식으로 대화를 구성한다. - haystack 조립: evidence session과 filler session을 섞고, domain별 filler 풀이 충돌 여부를 GPT-4o-mini로 검증하여 제거한다. - 평가 프로토콜: GPT-4o로 judge를 두고, Cascade/Absence/Deletion에 대해 trivial-pass를 적용하며 gold-facts-in-context ceiling을 통해 이론상 해결 가능성을 확인한다.

도메인 그래프는 수집된 2개 도메인으로 제한되며, 실제 인간 데이터에 의한 일반화는 제한적이다.