중요할 때 기억하기: 장기 수행 에이전트를 위한 능동형 메모리 에이전트

장기 수행 과제에서는 의사결정에 필요한 핵심 정보가 여러 단계에 걸쳐 흩어지며 시간이 지나면서 의사결정에 영향을 미치지 못하는 행태적 상태 감쇠가 발생한다. 본 논문은 기억을 단순 저장·검색 대상으로 보지 않고, 언제 기억이 제어 루프에 개입해야 하는지를 결정하는 능동적 개입 수단으로 재정의했다. 이 접근은 반복 실패 회피와 요구사항·정책 재활성화를 통해 장기간 상호작용 과제의 성공률을 실질적으로 끌어올린다는 점에서 실무적 의미가 크다.

장기 상호작용 과제에서는 유효한 의사결정 제약이 시간에 따라 흩어지고 일부는 컨텍스트 창에서 사라지거나 비활성화되어 다음 행동에 영향을 주지 못하는 현상이 발생한다. 이 논문은 그런 정보를 실행 상태(execution state)로 규정하고, 저장 여부뿐 아니라 그 정보가 언제 행동 루프에 '재활성화'되어야 하는지를 결정하는 문제로 문제의 초점을 옮겼다. 따라서 해결책은 과거 정보를 단순히 요약·검색하는 것이 아니라 개입 시점을 판단하는 정책을 포함해야 한다.

전체 접근은 액션 에이전트를 변경하지 않고 별도의 메모리 에이전트를 병렬로 운용하는 구조로 설계되었다. 메모리 에이전트는 고정 간격 또는 최초 단계에 호출되어 최근 궤적 윈도우와 현재 메모리 뱅크를 입력으로 받는다. 삽입 방식은 메모리 뱅크를 직접 수정하는 대신 도구 호출 리스트를 반환하는 방식으로 처리되어 메모리 갱신이 명확한 트랜잭션으로 외형화되었다. 메모리 뱅크는 status, knowledge, procedural 세 구성요소로 분리되어 상태 추적·환경 사실·시도-결과 기록을 구분해 저장한다. 각 항목은 식별자, 자연어 내용, 생성시간 및 접근 통계 같은 메타데이터를 포함하여 갱신과 삭제가 체계적으로 가능하다. 이 구조는 특정 기억 항목을 업데이트하거나 오래된 항목을 제거해 장기간에 걸쳐 일관된 실행 상태를 유지할 수 있게 했다. 메모리 에이전트 내부는 두 단계로 운용된다. Phase 1은 memory_update_status, memory_save_knowledge, memory_save_procedural, memory_delete 같은 도구 호출을 생성해 뱅크를 갱신하도록 하고, Phase 2는 갱신된 뱅크를 바탕으로 간결한 reminder를 생성하거나 명시적 <no_intervention/>을 선택해 다음 액션 에이전트 호출에 일시적 컨텍스트로 주입한다. 개입은 요구사항 위반 직전의 재활성화, 이전 실패의 회피, 진단의 재활성화처럼 다음 행동에 직접적 영향을 줄 가능성이 있는 항목으로 제한되며 광범위한 전략적 조언은 배제된다.

주요 실험은 Terminal-Bench 2.0과 τ2-Bench에서 수행되었고 성능 지표로 pass@1을 사용했다. Terminal-Bench에서 Sonnet 4.5 액션 에이전트는 baseline 37.6%에서 메모리 개입 후 45.9%로 +8.3 pp 상승했고 Opus 4.6 액션 에이전트는 43.5%에서 45.9%로 +2.4 pp 상승했다. τ2-Bench 전체(task-weighted)에서 Sonnet 4.5는 55.0%에서 61.8%로 +6.8 pp 상승했고 Opus 4.6은 66.2%에서 68.7%로 +2.5 pp 상승해 약한 에이전트에서 이득이 더 크지만 강한 에이전트에서도 개선이 유지되었다. 아블레이션 실험은 메모리 관리(Phase 1)와 개입(Phase 2)의 역할을 분리해 평가했다. 전체 시스템은 전체 뱅크 노출, 항상 주입, 주입만(뱅크 없음) 등의 변형보다 도메인 균형성(매크로 평균)에서 우수했고 전체 뱅크를 항상 노출하는 방식은 선택적 개입에 비해 일관성이 떨어지는 것으로 나타났다. 이 결과는 유지된 실행 상태와 선택적 개입의 조합이 가장 견고한 성능 향상을 제공함을 시사한다. 개방 가중치 메모리 에이전트 학습 실험에서는 SFT와 GRPO가 개입 정책을 보정하는 데 기여했다. SETA에서 SFT는 평균 보상을 0.720으로 회복했고 GRPO는 0.734로 추가 향상했으며 학습된 Qwen3.5-27B 메모리 에이전트는 고정 액션 에이전트에 대해 Terminal-Bench pass@1을 37.6%에서 41.1%로 +3.5 pp 개선했다.

전체 아키텍처는 별도의 프로세스로 운용되는 메모리 에이전트와 변경 없는 액션 에이전트의 런루프로 구성된다. 메모리 에이전트는 주기적 트리거(g(t))에 따라 호출되어 최근 k=8 메시지 창과 현재 메모리 뱅크를 입력으로 받는 구현을 주로 사용했다. 메모리 뱅크는 B_t=(s_t,K_t,P_t)로 표현되며 s_t는 내부 진행 상태, K_t는 안정적 사실, P_t는 시도-결과 기록을 각각 저장한다. Phase 1은 입력 트레이젝토리와 기존 뱅크를 받아서 순서화된 툴 호출 목록을 반환하는 형태로 구현되어 실행 시스템이 실제 뱅크 편집을 적용한다. 이 툴 호출 인터페이스는 메모리 갱신을 트랜잭션화하고 항목 식별자를 통해 업데이트·삭제를 명시적으로 수행할 수 있게 한다. Phase 2는 갱신된 뱅크를 읽고 다음 액션 호출에 주입할 간결한 reminder를 생성하거나 <no_intervention/>을 반환하는 결정만 수행해 액션 에이전트의 계획과 디코딩 절차를 건드리지 않는다. 학습 측면에서는 프롬프트된 메모리 에이전트로도 시스템을 구현할 수 있으나 추가 추론 비용과 캘리브레이션 문제를 완화하기 위해 개방 가중치 모델(Qwen3.5-27B)을 대상으로 SFT로 툴 호출 및 개입 결정을 증류하고 GRPO로 개입 정책을 보정했다. 학습은 SETA의 실행 가능 태스크를 사용해 교사 신호와 희소 보상 기반의 RL 업데이트를 병행했으며, 정책 업데이트는 pivot turn 중심으로 집중되어 희소 보상 문제를 완화했다.

논문은 남아 있는 실패 유형으로 메모리 에이전트의 개입 캘리브레이션 오류를 명시적으로 보고했다. 일부 경우 메모리 에이전트가 불필요하거나 중복된 정보를 제시해 추가 검증을 유발하거나 과도한 확인 절차로 진행을 지연시켰다. 또한 프롬프트 기반 메모리 에이전트는 매 메모리 스텝마다 추론 호출을 추가해 비용과 지연을 높이며 논문은 메모리 호출 스케줄 학습과 액션-메모리의 공동 학습을 향후 과제로 제시했다.