MINTEVAL: Long-Horizon에서 Interference 하 Memory 평가

실세계 에이전트는 정보가 시간이 지남에 따라 지속적으로 업데이트되며 간섭이 발생한다. 기존 벤치마크는 독립적 기억과 단기적 재현에 집중해 장기 맥락의 상호작용과 기억 구성의 한계를 포착하지 못한다. MINTEVAL은 four domains에서의 지속적 업데이트와 간섭으로 인해 메모리 관리가 어려운 환경에서 기억의 검색, 구성, 집계 추론의 강건성을 평가한다.

출발점: 인터페이스가 서로 다른 업데이트로 얽힌 장기 맥락에서 Memory는 인코딩-저장-검색-추론의 연쇄적 과정을 거친다. 기존 시스템은 주로 최신 정보에 집중하거나 최근 업데이트를 우선하는 경향이 있어, 간섭이 잗히는 맥락에서 과거 정보의 provenance를 보존하고 다중 대상 정보를 정확히 집계하는 데 취약하다. 이 문제를 해결하기 위해 MINTEVAL은 4개 도메인과 2가지 태스크를 구성하고, 다양한 메모리 관리 전략의 질적-양적 한계를 분석한다. 연구 결과, 재현 가능한 벤치마크에서도 retrieval 및 memory construction이 주된 병목이며, lookback 및 aggregation 질의에서 더욱 큰 도전이 드러난다. explicit temporal markers의 도입과 메모리 업데이트의 세분화가 간섭으로 인한 성능 저하를 완화하는 데 도움을 준다. 도메인 간 일반화의 한계는 여전히 존재한다.

단계1: 입력은 네 도메인의 장기 맥락으로 구성되고, 각 업데이트는 인접 업데이트와의 관계를 형성한다. 단계2: 메모리 관리 모듈은 입력을 compact memory로 구성하고, 7개 모델의 retrieval/저장 전략을 통해 context를 구성한다. 단계3: answering agent는 전체 context, retrieved context, 혹은 memory를 입력으로 받아 최종 답을 생성한다. 단계4: 평가 지표로 Exact Match를 사용하며, lookback 및 aggregation 태스크의 성능 저하 원인을 분석한다. 수치 예시: EM 계산은 정답 문자열과 예측 문자열의 일치 여부를 1/0으로 반영하여 평균을 도출한다. 예: y = 정답 문자열, p = 모델 예측 문자열, EM = 1 if y == p else 0; 전체 샘플 평균이 정확도를 구성한다. 단계5: 메모리 시스템의 작동 원리와 차별점은 삽입(Insertion), 수정(Modify/Update), 삭제(Delete) 세 가지 CRUD 연산으로 기술되며, 각 시스템의 연산 분포를 통해 업데이트의 성격을 분석한다.

주요 결과는 다음과 같다. MINTEVAL의 평균 정확도는 27.9%이며, 최상위 MemAgent의 평균 정확도는 33.4%이다. Simple 질의의 평균 정확도는 47.5%로 가장 높고 History는 21.0%, Multi-target Aggregation은 26.5%로 하위 수준이다. 도메인별로 MemAgent는 bAbI Simple에서 85.7%를 보였지만 HorizonBench Simple에선 7.5%로 급감하는 등 cross-domain 일반화의 한계를 드러낸다. 또한, RAG와 Memory 기반 방법은 Lookback이 커질수록 성능이 급감하며 Temporal cues를 추가하면 Full Context 및 RAG의 감소폭을 완화한다. Chunk Size를 증가시키면 메모리 업데이트 횟수가 줄어들며 Simple Questions의 영향은 작아진다. Mem-α와 AtomMem은 삽입 편향이 큰 경향을 보였고, SimpleMem은 revision provenance를 보존하는 데 한계가 있어 MINTEVAL의 긴 맥락에서 성능 감소를 보인다.

구성요소1: 아키텍처는 Memory Manager와 Answering Agent로 구성된다. Memory Manager는 긴 맥락을 compact memory로 압축하고, 업데이트를 관리한다. 구분: insertion, update, delete의 CRUD 중 insertion에 편향되는 경향이 관찰된다. 구성요소2: 핵심 수식/개념은 EM(Exact Match)과 LookBack Distance 등으로 측정된다. 구분: lookbackDistance가 증가할수록 Full Context/RAG의 성능 저하가 커진다. 구분: temporal cues를 도입하면 lookback 손실 폭을 줄일 수 있다. 구분: retrieval 선택과 embedding 모델의 차이가 RAG 성능에 영향을 준다. 구분: 학습/추론 파이프라인의 차이가 단일-타깃 대 집계 질의의 성능 차이를 만든다.