GATEMEM: 다주체 공유 메모리 에이전트의 메모리 거버넌스 벤치마크

LLM 에이전트가 지속적 보조 기능으로 확장되면서 메모리는 개인 대화에서 벗어나 기관·가정 등 다수의 주체 간에 공유된다. 본 연구는 이러한 다주체 공유 환경에서 메모리의 유용성(Utility)과 함께 접근 제어(Access Control), 삭제 요청 후의 비복구성(Active Forgetting)까지 함께 평가하는 벤치마크를 제시한다. 전통적 메모리 벤치마크가 주로 단일 주체의 기억 회상에 집중하는 반면, GATEMEM은 도메인별 시나리오와 긴 호의 에피소드에서 거버넌스 측면의 취약점을 드러낸다. 실험 결과, 어떤 방법도 세 축을 동시에 충족하지 못했고, 긴 컨텍스트를 활용한 프롬팅이 거버넌성에 가장 강한 교차-트레이드를 보여주나 토큰 비용이 증가한다. Retrieval 기반 및 외부 메모리 방식은 비용을 줄이지만 여전히 무단 누출이나 삭제 이후의 회수를 방지하지 못한다.

출발점과 한계: Transformer 기반의 LLM 에이전트는 긴 컨텍스트를 이용해 기억을 유지하지만 다주체 환경에서 특정 정보를 authorized requester만 접근하도록 제어해야 한다는 요구가 있다. 단순한 회상 성능 향상은 민감 정보의 노출 위험으로 이어질 수 있다. 해결 원리: memory ingest 단계에서 τt(턴) 정보를 Se(도메인, 주체, 관계, 초기 접근 규칙)와 함께 주입하고, M(e)t를 통해 누적 상태를 업데이트한다. 체크포인트는 Cu(Utility), Ca(Access Control), Cf(Active Forgetting)로 구분되며, 각 체크포인트에서 모델의 행동을 평가하기 위한 qn, a⋆n, Jn, Λn이 은닉 정보로 정의된다. 평가 규칙은 4개의 동작(action)으로 표준화되며, judge는 ôn과 yn을 비교해 U, A, F를 산출한다. 달성도는 MGS = U · (1 − A) · (1 − F)으로 집계된다. 도메인 구조와 데이터 품질 관리의 필요성은 91 에피소드 및 2,218 체크포인트의 구성에서 확인된다. 달성 가능성의 한계는 백본 모델(GPT-5.4, Deepseek-V4-Pro 등)과 처리 방식(Long-Context, RAG, REMEM 등)의 차이에 의해 나타난다. 이로써 거버넌스가 메모리 회상 능력과 동일하게 평가될 수 없음을 확인한다.

전체 접근 방식: Se = (De,Pe,Re,Ge)로 정의된 도메인 및 주체-관계-권한 규칙을 바탕으로 Ee = (τ1, τ2, ..., τT) 형태의 에피소드를 구성한다. 에피소드의 메모리 상태는 M(e)t = Ingest(M(e)t−1, τt, Se)로 갱신된다. 체크포인트 시스템: H = {(cn, yn)}로 구성되며, cn = (en, tn, preqn, xn)이고 yn = (qn, a⋆n, Jn, Λn)이다. 세 축은 Cu, Ca, Cf로 나뉘며, 각 n에 대해 ôn = f(M(en)tn, preqn, xn, Sen)으로 출력된다. 동작은 {answer, answer_redacted, refuse, no_memory} 중 하나로 정규화된다. 평가는 LLM-judge에 의해 수행되며, U, A, F를 각각 측정한다. Utility 체크포인트는 a⋆n = answer, 필요한 요소를 모두 포함해야 한다. Access-Control 체크포인트는 비허가 요청의 누출 여부 및 제한된 정보의 노출 여부를 평가한다. Active Forgetting 체크포인트는 deletion 후 정보 회수 여부를 평가한다. 데이터 구조: Episode 구성은 (De,Pe,Re,Ge)와 Ee를 포함하며, ts는 시간순서, zt는 턴 타입, ut은 내용이다. Ingest는 연속적으로 메모리 상태를 갱신한다. 품질 관리: Schema Consistency, Chain-of-Evidence Validation, Deletion-Chain Closure, Leak-Target Inspection의 4단계를 거친다. 실험 설계: 7개 베이스라인(LONG-CONTEXT, RAG-NAIVE, RAG-POLICY, A-MEM, MEM0, REMEM-I, REMEM-S)과 6개 백본(GPT-5.4, Deepseek-V4-Pro, Llama-4-Maverick, GPT-4o-mini, GPT-5-mini, Gemini-2.5-Flash-Lite)을 사용한다. 평가 지표는 U, A, F, MGS이며, 토큰 비용은 Dn, Tn으로 표현한다.

주요 결과는 다음과 같다. LONG-CONTEXT가 대부분의 백본-도메드 블록에서 가장 높은 MGS를 달성한다. 예를 들어 GPT-5.4의 LONG-CONTEXT에서 의료(Medical) U=91.4, A=10.4, F=2.3, MGS=80.1; 사무(Office) U=89.6, A=33.9, F=4.5, MGS=56.5; 교육(Education) U=85.6, A=12.8, F=7.8, MGS=68.8; 가정(Household) U=73.4, A=16.8, F=11.4, MGS=54.0이다. RAG-NAIVE는 의료 U=64.8, A=25.0, F=7.9, MGS=44.7, 사무 U=74.0, A=29.8, F=9.5, MGS=47.0, 교육 U=32.8, A=12.8, F=32.8, MGS=19.2, 가정 U=51.1, A=19.0, F=10.9, MGS=36.9이다. RAG-POLICY는 의료 U=37.1, A=10.9, F=4.0, MGS=31.8; 사무 U=76.0, A=19.9, F=6.3, MGS=57.0; 교육 U=22.2, A=9.4, F=16.1, MGS=16.9; 가정 U=39.1, A=14.7, F=14.1, MGS=28.7이다. A-MEM은 의료 U=65.7, A=24.0, F=6.8, MGS=46.6; 사무 U=79.2, A=31.0, F=11.7, MGS=48.3; 교육 U=32.2, A=15.0, F=37.2, MGS=17.2; 가정 U=51.1, A=20.1, F=10.9, MGS=36.4이다. MEM0은 의료 U=38.1, A=28.1, F=5.6, MGS=25.8; 사무 U=40.3, A=16.4, F=14.4, MGS=28.8; 교육 U=27.2, A=8.9, F=15.0, MGS=21.1; 가정 U=25.5, A=10.3, F=9.2, MGS=20.8이다. REMEM-I은 의료 U=56.7, A=28.6, F=9.0, MGS=36.8; 사무 U=59.7, A=28.6, F=6.3, MGS=40.0; 교육 U=16.7, A=13.3, F=33.9, MGS=9.5; 가정 U=32.6, A=15.2, F=15.2, MGS=23.4이다. REMEM-S은 의료 U=54.1, A=26.3, F=8.7, MGS=36.4; 사무 U=58.6, A=29.6, F=6.9, MGS=38.4; 교육 U=16.3, A=13.9, F=34.1, MGS=9.2; 가정 U=31.6, A=16.8, F=20.1, MGS=21.0이다. 백본에 따라 우수한 MGS가 달라지며, GPT-5.4/Deepseek-V4-Pro는 LONG-CONTEXT에서 안정적으로 높은 거버넌스 성능을 보여준다. 단순히 유용성 alone으로는 충분치 않으며, 높은 누출 리스크를 유발하는 경우가 많다. 효율성 측면에서 LONG-CONTEXT는 토큰 소모가 크고 WALL-CLOCK 시간이 짧은 편이며, REMEM 계열은 토큰 비용을 낮추지만 지연(latency)이 크게 증가하는 경향을 보인다. 인간judge와의 일치도 높은 편이다.

전체 아키텍처는 도메인별 시나리오(specification)에서 Principals, Relationships, Ge(초기 접근 규칙)을 정의하고, 이를 바탕으로 Se를 구성한다. Ee는 타임스탬프가 부여된 순차 턴들의 교환이며 τt = (pt, rt, zt, ut)로 표현된다. M(e)t는 Ingest(M(e)t−1, τt, Se)로 업데이트되며, 이때 메모리 표현은 풀 컨텍스트 재생, retrieved chunks, 벡터 메모리, 외부 메모리 모듈 등 구현에 따라 달라진다. 체크포인트 H = {(cn, yn)}에서 cn = (en, tn, preqn, xn)이고 yn = (qn, a⋆n, Jn, Λn)이다. 평가 지표는 세 축으로 U, A, F를 측정하고 MGS = U · (1 − A) · (1 − F)로 요약한다. Utility 체크포인트는 a⋆n = answer이며, A-CHECKPOINT는 비허가 누출 여부를 판단하고, Active Forgetting 체크포인트는 no_memory를 준수하는지 평가한다. 실험에서 7가지 baseline과 6개의 백본을 조합해 총 다층 평가를 수행한다. 데이터 품질 관리는 Schema Consistency, Chain-of-Evidence Validation, Deletion-Chain Closure, Leak-Target Inspection의 4단계로 수행한다. 에피소드 구조: e = (Se, Ee)이며, Se = (De, Pe, Re, Ge)이고 Ee = (τ1, τ2, ..., τT)이다. 평가 도구로 LLM-judge를 활용하고, judge는 action과 포함해야 할 요소를 판정한다. 수치 및 행태 분석은 표 3, 표 4, 그림 38, 표 57의 결과를 참조한다.

인터페이스 수준의 삭제(activation-time forgetting)만 평가하며 물리적 저장소의 완전한 지우기는 인증하지 않는다. 네 가지 도메인에 한정되어 있으며, 실제 운영 환경의 모든 시나리오를 포괄하지 않는다. 또한 벤치마크 구성의 채점은 LLM-judge에 의존하며 인간 평가와의 일치를 부분적으로 확인하되, 완전한 자동화 검증은 아니다.