STALE: LLM 에이전트가 기억의 유효성을 스스로 판단할 수 있는가?

LLM 에이전트는 장기적 기억을 활용해 사용자에게 일관된 맞춤형 서비스를 제공해야 한다. 그러나 새로운 증거가 기존 기억을 간접적으로 바꿀 때 이를 인식하고 업데이트하는 능력은 아직 충분히 평가되지 않았다. STALE은 암묵적 충돌(Imlicit Conflict)을 체계적으로 시험하여, 모델이 과거의 신념을 업데이트하고, 그 여파가 downstream 행동에까지 반영되는지 검증한다.

단계1: 사용자 상태는 잠재적으로 관찰 가능한 대화 단편들의 집합으로 구성된 동적latent 상태이다. 단계2: Implicit Conflict은 이후 관찰 mn이 이전의 신념 vo(a)를 간접적으로 무효화하되 surface level의 직접적 부정이 없을 때 발생한다. 단계3: STALE은 이 암묵적 무효화를 포착하고, 3가지 probing dimension으로 평가한다. 단계4: CUPMEM은 write-side에서 상태를 adjudicate하여, 업데이트된 증거가 실제로 현재 상태를 지배하도록 하며, query-time readout은 이 adjudicated 상태에 근거해 이루어진다.

전체 접근방식은 다음과 같다. Step 1: Base State mo를 계층적 토폴로지에 따라 샘플하고, vo(a)를 명시적으로 부여한다. Step 2: Logic Attacker가 mn을 생성하여 vo(a)와 모순되는 vn(a) 또는 a와의 종속 관계를 통해 간접적으로 vo(a)를 무효화한다. Step 3: 다중 턴 대화(Sessiono, Sessionn)으로 패키징하고 Long-Context Haystack에 주입한다. Step 4: SR/PR/IPA의 세 probing dimension에 대해 LLM judge가 직접 평가한다. Step 5: LightMem과 CUPMEM 등 메모리 프레임워크의 성능 비교를 통해 current-state adjudication의 효과를 분석한다.

현실적인 수준의 임계치를 넘지 못하는 경우가 많으며, 최상위 모델조차 Overall 55.2%의 정확도에 머무른다. SR은 비교적 높은 편이나 IPA에서의 업데이트를 실제 downstream로 반영하는 능력은 낮다. Type II(Propagation)에서 성능 저하가 두드러지며, 오래된 전제에 의존하는 PR에서의 취약점이 만연하다. CUPMEM은 동일 백본에서 Overall을 8.7%에서 68.0%로 상승시키며, PR에서 특히 큰 개선을 보인다.

3단계 아키텍처로 구성된 폭넓은 상태(schema) 기반 메모리 관리. Ω = { (b, ℓ) : b∈B, ℓ∈Tb }과 같은 이진적 상태 도메인 구조를 도입해, slot 단위로 상태를 관리한다. Write 단계에서 δk = (bk, ℓk, v̂k, zk, γk, τ, Ek) 형태의 업데이트를 생성하고, a_k ∈ {ADD, REFINE, REPLACE, NO_OP}로 로컬 업데이트를 수행한다. 이후 Rτ = Rdirect ∪ Raffected ∪ Rglobal를 구성해 adjudication 모듈에 입력한다. Query 시 π(q) = (Iq, Pq, Bq, Aq)로 매핑하고 V(q, M) ∈ {SUPPORTED, OUTDATED, UNRESOLVED}로 상태 일관성을 검증한다.

본 벤치마크는 단일 충돌 쌍(m_o, m_n) 기반의 제어된 상황에 집중하므로, 실제 대화에서의 coupled update나 상태 drift를 완전히 포괄하지는 않는다. 데이터 생성은 LLM 주도이며, 분포의 Ecological Validity가 제한될 수 있다.