에이전트 메모리 시스템의 해부: 분류 체계 및 평가와 시스템 한계에 대한 실증적 분석

LLM 에이전트가 장기적인 작업을 수행하기 위해 필수적인 '메모리' 시스템의 설계 방식을 4가지로 분류하고, 현재 벤치마크와 평가 지표가 가진 한계를 지적한다. 특히 단순한 텍스트 검색을 넘어 구조화된 메모리가 실제 성능과 시스템 운영 비용에 어떤 영향을 미치는지 실증적으로 분석하여 효율적인 에이전트 설계 방향을 제시한다.

LLM은 고정된 Context Window라는 물리적 한계로 인해 장기적인 대화나 복잡한 지식을 모두 기억할 수 없다. 이를 해결하기 위해 외부 저장소에 정보를 임베딩(Embedding) 형태로 저장하고 필요할 때 검색하는 Memory-Augmented Generation(MAG) 기술이 도입됐다. 기존의 단순한 RAG 방식은 관련 텍스트를 찾아오는 데 집중했으나, 에이전트가 자율적으로 행동하기 위해서는 정보를 어떻게 구조화하고 업데이트할지가 성능의 본질이다.

본 논문은 메모리를 단순히 '데이터 더미'가 아닌, 에이전트의 경험을 요약하거나 엔티티 간의 관계를 그래프로 연결하는 등 고도화된 구조로 설계해야 함을 강조한다. 이는 딥러닝의 가중치를 수정하는 파라미터 학습 없이도, 외부 메모리와의 읽기/쓰기 연산을 통해 에이전트가 사용자 취향을 학습하거나 장기 프로젝트의 맥락을 유지할 수 있게 한다.

결과적으로 메모리 시스템은 에이전트의 '장기 기억' 역할을 수행하며, 단순한 텍스트 매칭을 넘어 의사결정에 필요한 핵심 정보를 적시에 제공하는 지능형 서브시스템으로 동작한다. 이러한 구조적 설계는 에이전트가 수백만 토큰 이상의 방대한 정보를 처리하면서도 일관된 성능을 유지할 수 있게 하는 핵심 동력이다.

MAG 시스템을 구조적 특징에 따라 네 가지 범주로 정의한다. Lightweight Semantic은 단순 벡터 검색을 사용하며, Entity-Centric은 사용자나 작업 중심의 구조화된 기록을 유지한다. Episodic & Reflective는 경험을 요약하여 저장하고, Structured & Hierarchical은 그래프나 계층적 저장소를 활용한다. 각 구조는 정보를 저장(Write)하고 검색(Read)하는 메커니즘에서 차별화된 논리를 가진다.

메모리 시스템의 실질적 효용을 측정하기 위해 'Context Saturation Gap(Δ)' 프로토콜을 도입했다. [메모리 시스템을 사용한 점수와 전체 컨텍스트를 입력한 Full-Context 점수 두 값을 입력으로] → [두 점수의 차이를 구하는 뺄셈 연산을 수행해] → [Δ라는 결과값을 얻고] → [이 숫자가 클수록 외부 메모리가 모델의 기본 컨텍스트 창 한계를 극복하는 데 실질적으로 기여함을 의미한다].

시스템 효율성 분석을 위해 'Agency Tax'를 정의하고 측정한다. [검색 시간(Tread)과 생성 시간(Tgen)을 입력으로] → [사용자가 체감하는 전체 지연 시간을 합산하는 연산을 수행해] → [Total Latency 결과값을 얻고] → [이 값이 실시간 상호작용에 적합한 수준인지 평가한다]. 또한 메모리 구축에 소요되는 시간과 토큰 비용을 정량화하여 오프라인 확장성을 분석한다.

HotpotQA와 같은 기존 벤치마크는 128k 이상의 Context Window를 가진 최신 LLM에게 '포화 상태'이며, 외부 메모리 없이도 해결 가능하여 변별력이 낮음이 확인됐다. 반면 1M 토큰 이상의 LongMemEval-M 데이터셋에서만 메모리 시스템의 진정한 우위가 나타났다. 이는 벤치마크의 규모가 모델의 컨텍스트 용량을 압도해야만 메모리 시스템의 성능을 정확히 평가할 수 있음을 시사한다.

어휘적 지표인 F1 스코어는 의미적으로 정확하지만 표현이 다른 답변을 과도하게 감점하는 'Paraphrase Penalty' 현상을 보였다. 반면 gpt-4o-mini를 활용한 LLM-as-a-judge 방식은 프롬프트 변화에도 불구하고 시스템 간의 상대적 순위를 일관되게 유지하여, 추상화된 메모리 시스템 평가에 더 적합한 도구임이 입증됐다.

시스템 비용 분석 결과, MAGMA나 AMem 같은 구조화된 시스템은 추론 성능은 높지만 메모리 구축에 최대 15시간이 소요되거나 수백만 개의 토큰을 소모하는 등 높은 운영 비용을 요구했다. 특히 MemoryOS와 같은 계층형 시스템은 지연 시간이 32초를 초과하여 실시간 상호작용에는 부적합한 것으로 나타났다.

에이전틱 메모리는 수식 yt ~ fθ(φ(ot, st) ⊕ ψ(Mt; qt))로 정형화된다. [현재 관측값 ot, 에이전트 상태 st, 외부 메모리 상태 Mt를 입력으로] → [쿼리 생성 및 메모리 읽기 함수 ψ를 통한 정보 추출 연산을 수행해] → [최종 출력 yt를 생성하고] → [이는 모델의 파라미터 θ를 직접 수정하지 않고도 외부 상태를 참조하여 행동을 결정할 수 있음을 의미한다].

메모리 업데이트는 명시적인 액션 ut = g(ot, at, st)를 통해 수행된다. [관측값, 에이전트의 행동, 상태를 입력으로] → [STORE, UPDATE, DELETE 등의 메모리 조작 명령을 생성하는 g 함수 연산을 수행해] → [다음 단계의 메모리 상태 Mt+1을 결정하고] → [이는 메모리 관리를 강화학습(RL)의 정책 결정 문제로 다룰 수 있는 이론적 기반이 된다].

백본 모델의 민감도 분석 결과, Qwen-2.5-3B와 같은 오픈 웨이트 모델은 복잡한 구조적 메모리 연산(JSON 추출 등)에서 gpt-4o-mini 대비 높은 포맷 에러율(최대 30.38%)을 보였다. 이는 메모리 시스템의 안정성이 백본 모델의 지시 이행 능력에 크게 의존하며, 약한 모델을 사용할 경우 메모리 데이터가 오염되는 'Silent Failure'가 발생할 수 있음을 시사한다.

기존 벤치마크들이 최신 LLM의 확장된 컨텍스트 창에 비해 너무 작아 메모리 시스템의 변별력을 확보하기 어렵다는 점을 명시했다. 또한, 고성능 구조화 메모리 시스템이 요구하는 높은 지연 시간과 토큰 소모량이 실시간 대규모 서비스 적용에 걸림돌이 될 수 있음을 한계로 언급했다.