메모리 지능 에이전트: 심층 연구 에이전트를 위한 자율 진화형 메모리 프레임워크

기존 AI 에이전트는 과거의 검색 기록이나 실패 경험을 단순히 텍스트로 쌓아두기만 하여 추론 효율이 떨어지고 저장 비용이 급증하는 문제가 있었다. 이 논문은 에이전트가 스스로 과거 경험을 압축하여 지식으로 내재화하고 추론 중에 실시간으로 학습하는 구조를 제안하여, 작은 모델로도 거대 모델을 능가하는 성능을 낼 수 있음을 증명했다.

기존의 에이전트 메모리는 단순히 과거 대화나 검색 결과를 긴 텍스트(Context)로 다시 읽어오는 방식이었다. 이는 시퀀스 길이가 길어질수록 Attention 연산량이 제곱으로 늘어나고, 불필요한 정보가 노이즈로 작용해 추론 정확도를 떨어뜨리는 한계가 있다. MIA는 이를 해결하기 위해 인간의 뇌가 단기 기억을 장기 지식으로 고착화하는 과정에서 착안했다.

핵심 원리는 '경험의 압축과 내재화'이다. 에이전트가 수행한 복잡한 검색 과정(Trajectory) 중 성공한 사례는 핵심 전략으로 요약하여 외부 메모리에 저장하고, 동시에 이 전략들을 모델의 가중치(Parameter)에 직접 학습시킨다. 즉, '무엇을 찾았는가'라는 데이터뿐만 아니라 '어떻게 문제를 해결했는가'라는 방법론 자체를 모델의 지능으로 흡수시키는 것이다.

이러한 구조 덕분에 에이전트는 매번 처음부터 시행착오를 겪지 않고, 학습된 파라미터를 통해 즉각적으로 최적의 계획을 세울 수 있다. 결과적으로 Qwen2.5-VL-7B와 같은 가벼운 모델이 별도의 메모리 시스템이 없는 32B 모델보다 18% 더 높은 성능을 기록하며, 지능의 핵심이 모델 크기뿐만 아니라 경험을 관리하는 방식에 있음을 보여준다.

MIA 프레임워크는 Manager, Planner, Executor의 세 가지 핵심 모듈로 구성된다. Manager는 비파라미터 메모리 시스템으로, 과거의 성공 및 실패 궤적을 텍스트 캡션과 워크플로우 요약 형태로 압축하여 저장한다. Planner는 파라미터 메모리 에이전트로, 질문을 받으면 Manager로부터 유사한 과거 사례를 검색하여 최적의 검색 계획을 수립한다. Executor는 Planner의 계획에 따라 실제 도구를 호출하고 정보를 분석하는 역할을 수행한다.

학습은 2단계 교차 강화학습(Alternating RL) 방식을 따른다. 1단계에서는 Planner를 고정한 채 Executor가 계획을 정확히 따르고 도구를 효율적으로 사용하도록 GRPO 알고리즘으로 학습시킨다. 2단계에서는 Executor를 고정하고 Planner가 과거 메모리를 더 잘 활용하여 정교한 계획을 세우고 반성(Reflection)하도록 학습시킨다. GRPO 연산 시 [여러 개의 출력 후보군 생성 → 그룹 내 상대적 보상 계산 → Advantage 산출 → 정책 업데이트] 순으로 계산하여 별도의 비평가 모델 없이 효율적인 정렬을 수행한다.

테스트 시점 학습(TTL) 단계에서는 추론 중에 얻은 새로운 경험을 실시간으로 처리한다. [현재 쿼리와 유사한 메모리 검색 → 실행 궤적 생성 → LLM Judger를 통한 성공/실패 판정 → 최단 성공 경로 및 실패 사례 추출] 과정을 거쳐 Manager의 메모리를 갱신함과 동시에 Planner의 파라미터를 온라인으로 업데이트한다. 정답이 없는 환경에서는 3개의 전문 리뷰어 모델(논리, 정보원, 결과 유효성 검토)과 1개의 의장(Area Chair) 모델이 협력하여 가상의 정답 신호를 생성한다.

MIA는 11개의 벤치마크에서 기존 SOTA 모델들을 압도하는 성능을 보였다. 멀티모달 데이터셋인 LiveVQA와 텍스트 기반인 HotpotQA에서 GPT-5.4(가칭, 최신 프론티어 모델)의 성능을 각각 9%, 6% 추가로 향상시켰다. 특히 경량 모델인 Qwen2.5-VL-7B를 Executor로 사용했을 때, 7개 데이터셋 평균 31%의 성능 향상을 기록하며 훨씬 거대한 Qwen2.5-VL-32B 모델보다 18% 높은 정확도를 달성했다.

Ablation Study 결과, 단순히 메모리만 추가했을 때는 오히려 성능이 소폭 하락(-0.4)했으나, 메모리를 Planner의 계획 수립에 활용했을 때 성능이 대폭 상승(+3.5)했다. 이는 경험을 직접 데이터로 쓰는 것보다 전략적 가이드로 변환하는 것이 중요함을 시사한다. 또한 비지도 학습 환경에서도 지도 학습 대비 대등한 성능을 보였으며, 동일한 데이터셋을 반복해서 접할수록 성능이 지속적으로 우상향(59.6 → 61.1 → 61.7)하는 자율 진화 능력을 입증했다.

MIA의 핵심 기술적 차별점은 메모리의 '양방향 변환'과 '온라인 파라미터 업데이트'에 있다. 기존의 MemoryBank나 ExpeL이 비파라미터 메모리의 확장성에만 집중한 반면, MIA는 이를 GRPO 기반의 강화학습과 결합하여 모델의 내재적 지능으로 치환한다. Planner의 보상 함수는 [최종 정답 정확도(0.7) + 중간 단계 정확도(0.2) + 반성 메커니즘 유효성(0.05) + 형식 준수(0.05)]의 가중치 합으로 구성되어 논리적 사고 과정을 직접 최적화한다.

구현 측면에서 Manager는 의미론적 유사도(Semantic Similarity), 가치 보상(Value Reward), 빈도 보상(Frequency Reward)을 결합한 하이브리드 검색 전략을 사용한다. [질문 및 캡션 임베딩 → 코사인 유사도 계산 → 성공률 기반 가중치 부여 → 희소 사례 탐색 인센티브 추가 → 최종 점수 산출] 과정을 통해 노이즈를 최소화하고 고가치의 경험만 Planner에게 전달한다. TTL 과정에서의 파라미터 업데이트는 추론 흐름을 방해하지 않도록 비동기적으로 수행되며, 이는 에이전트가 운영 환경에서 멈추지 않고 '일하면서 배우는' 구조를 완성한다.

현재 프레임워크는 주로 심층 연구 작업에 초점을 맞추고 있어, 더욱 복잡하고 동적인 환경으로의 확장이 필요하다. 또한 실시간 파라미터 업데이트에 따른 계산 오버헤드와 모델의 안정성 유지 사이의 균형에 대한 추가 연구가 명시되어 있다.