Keep It InMind: 에이전트 메모리의 암묵적 연관성 블라인드스팟을 벤치마크함. 이 논문은 InMind라는 125개 과제 벤치마크를 제시했다. 벤치마크는

사용자가 한 번 제공한 개인 정보가 다른 주제의 의사결정에서 안전·적합성에 영향을 줄 수 있는데, 현재의 retrieval-based 기억 파이프라인은 그런 연관성을 포착하지 못해 실제 안전에 구멍을 남겼다. InMind는 이 실패가 저장 실패나 모델의 부족이 아니라 쿼리 이전에 이루어지는 Retriever의 관련성 판단에서 비롯된다는 것을 증명했다. 따라서 메모리 설계에서 routing—어떤 사실을 항상 가시 상태로 둘지 결정하는 규칙—이야말로 실무적·연구적 핵심 문제임이 확인됐다.

문맥 외부에 저장된 메모리 집합 \mathcal{M}과 새 쿼리 q가 주어질 때 대부분의 시스템은 먼저 Retrieve(\mathcal{M};q,\theta)로 관련 항목을 선택하고 그 결과 \hat{\mathcal{M}}를 LLM에 전달하여 답을 생성한다. 이 순서는 관련성 판단을 쿼리 표현만으로 강제하며, 쿼리와 결정적 기억이 표면적 유사성을 공유하지 않을 때(암묵적 연관) Retriever는 필요한 기억을 선택하지 못한다. InMind 실험은 동일 기억을 문맥에 직접 제공하면 GPT-5-mini가 간접 질의에서 84.0%를 맞혔고, 반대로 검색 기반 설정에서는 간접 적용이 최대 16.0%에 그쳐 문제의 핵심이 쿼리 이전의 관련성 계산임이 확인됐다.

벤치마크는 출처 기반 샘플링→자동 추출(LLM)→유사성 필터(BM25, MiniLM)→전문가 검수의 파이프라인으로 구성되었다. 각 과제는 (i) 사용자 사실을 진술하는 메시지, (ii) 그 사실을 직접 묻는 naive 질의, (iii) 그 사실이 답을 바꾸는 간접 질의, (iv) 출처 기반의 브리지 설명을 포함하도록 추출 및 검증되었다. 평가에서는 생성 메모리를 47세션 LME-s 대화의 가운데에 삽입하고 38세션의 간섭을 거쳐 직접 질의와 간접 질의를 순서대로 던져 Naive Recall, Target Recall(정답-블라인드), Indirect Application을 이진 기준으로 측정했다.

주요 실험 결과는 직접 회수(Naive)에 대해서는 최대 100.0%가 관찰되었으나 간접 적용(Application)은 어떤 검색-기반 설정에서도 최대 16.0%에 불과했다. GPT-5-mini를 백본으로 한 in-context 제어는 문맥에 사실을 넣었을 때 간접 질의에서 84.0%를 달성하여 모델 자체의 지식 부족이 원인이 아님을 보였다. 임베딩 차원을 MiniLM(384)에서 text-embedding-3-large(3072)로 올리면 target recall이 상승했으나 Application 격차는 거의 해소되지 않아 실패 지점이 쿼리-조건화 인터페이스임이 확인됐다.

논문은 쿼리-조건화 검색의 수식적 서술을 포함하며 핵심 수식은 다음과 같다: \hat{\mathcal{M}}=\mathrm{Retrieve}(\mathcal{M};q,\theta),\qquad a=\mathrm{LLM}(q,\hat{\mathcal{M}}). 이 표현에서 \mathcal{M}은 저장된 기억 집합, q는 새 쿼리, \theta는 retriever의 파라미터·인덱스·스코어링 규칙이다. 실험적으로는 A-RAG, xMemory, Mem0, A-Mem, HippoRAG 2, MemoryOS를 MiniLM(384-dim)과 text-embedding-3-large(3,072-dim)로 운용했고, 평가 지표로 Naive Recall, Target Recall(답변-블라인드), Indirect Application을 사용하여 라우팅 실패를 분리 측정했다.

벤치마크의 125개 과제는 안전·건강·규정 분야에 편중되어 있어 유머, 장기 목표, 제도적 정책 같은 영역은 덜 다루어진다. n=125 규모이므로 수 퍼센트 포인트는 샘플링 잡음이며, 논문 결론은 60~70 포인트의 큰 효과를 근거로 한다. GPT-5-mini를 답변자·판정자로 사용한 점이 절대 점수에 편향을 줄 수 있으나 그 편향은 백본·검색 시스템 모두에 동일하게 적용되므로 간극 자체를 만들어내지는 못한다.