중요할 때 기억하기: 장기 수행 에이전트를 위한 능동형 메모리 에이전트

왜 중요한가

장기 수행 과제에서는 의사결정에 필요한 핵심 정보가 여러 단계에 걸쳐 흩어지며 시간이 지나면서 의사결정에 영향을 미치지 못하는 행태적 상태 감쇠가 발생한다. 본 논문은 기억을 단순 저장·검색 대상으로 보지 않고, 언제 기억이 제어 루프에 개입해야 하는지를 결정하는 능동적 개입 수단으로 재정의했다. 이 접근은 반복 실패 회피와 요구사항·정책 재활성화를 통해 장기간 상호작용 과제의 성공률을 실질적으로 끌어올린다는 점에서 실무적 의미가 크다.

핵심 기여

행태적 상태 감쇠(behavioral state decay) 개념 규정

장기 실행 과제에서 과거에 획득한 정보가 시간이 지나며 더 이상 다음 결정에 영향을 주지 못하는 현상을 'behavioral state decay'로 규정하고, 이 문제를 장기 에이전트 실패의 핵심 원인으로 명확히 설정했다. 이 정의는 단순한 저장·검색 문제와 구별되는 개입 타이밍의 중요성을 부각시켰다. 문제 규정은 이후 메모리 설계와 평가 기준을 구조적으로 제시하는 근거가 되었다.

두 단계 메모리 개입 아키텍처 제안

메모리 에이전트를 액션 에이전트와 분리해 Phase 1에서 구조화된 메모리 뱅크(status, knowledge, procedural)를 툴 호출로 갱신하고 Phase 2에서 업데이트된 뱅크를 읽어 필요 시 간결한 <context_for_action>를 생성하는 두 단계 워크플로를 제안했다. Phase 1은 bank-edit 툴 호출(memory_update_status, memory_save_knowledge, memory_save_procedural, memory_delete)을 반환하는 형태로 구현되어 메모리 갱신을 명시적으로 제어했다. Phase 2는 개입 또는 무개입 결정을 내리고 비개입은 명시적 액션으로 처리하여 불필요한 주입을 피하도록 설계되었다.

광범위 벤치마크에서 성능 향상 입증

Terminal-Bench 2.0과 τ2-Bench에서 메모리 개입이 pass@1을 일관되게 향상시킨다는 실험 결과를 제시했다. Sonnet 4.5 액션 에이전트의 Terminal-Bench 기준 pass@1은 37.6%에서 45.9%로 +8.3 pp 상승했고 τ2-Bench 전체 평균은 55.0%에서 61.8%로 +6.8 pp 상승했다. 강한 액션 에이전트에서도 이득이 소거되지 않아 개입 정책이 단순 보상 보정 이상의 효과를 가짐이 확인되었다.

개입 정책의 학습 가능성 초기 증거 제공

SETA 데이터셋을 활용해 Qwen3.5-27B를 SFT와 GRPO로 미세조정한 결과 메모리 정책이 학습 가능함을 보였다. SETA 검증에서 SFT는 평균 보상을 0.720으로, GRPO는 0.734로 개선했고 학습된 메모리 에이전트는 고정된 Qwen3.5-122B-A10B 액션 에이전트에 대해 Terminal-Bench pass@1을 37.6%에서 41.1%로 +3.5 pp 향상시켰다. 이 결과는 프롬프트 기반 정책을 개방 가중치 모델로 증류하고 정책 보정이 가능하다는 근거를 제공했다.

핵심 아이디어 이해하기

장기 상호작용 과제에서는 유효한 의사결정 제약이 시간에 따라 흩어지고 일부는 컨텍스트 창에서 사라지거나 비활성화되어 다음 행동에 영향을 주지 못하는 현상이 발생한다. 이 논문은 그런 정보를 실행 상태(execution state)로 규정하고, 저장 여부뿐 아니라 그 정보가 언제 행동 루프에 '재활성화'되어야 하는지를 결정하는 문제로 문제의 초점을 옮겼다. 따라서 해결책은 과거 정보를 단순히 요약·검색하는 것이 아니라 개입 시점을 판단하는 정책을 포함해야 한다.

방법론

전체 접근은 액션 에이전트를 변경하지 않고 별도의 메모리 에이전트를 병렬로 운용하는 구조로 설계되었다. 메모리 에이전트는 고정 간격 또는 최초 단계에 호출되어 최근 궤적 윈도우와 현재 메모리 뱅크를 입력으로 받는다. 삽입 방식은 메모리 뱅크를 직접 수정하는 대신 도구 호출 리스트를 반환하는 방식으로 처리되어 메모리 갱신이 명확한 트랜잭션으로 외형화되었다. 메모리 뱅크는 status, knowledge, procedural 세 구성요소로 분리되어 상태 추적·환경 사실·시도-결과 기록을 구분해 저장한다. 각 항목은 식별자, 자연어 내용, 생성시간 및 접근 통계 같은 메타데이터를 포함하여 갱신과 삭제가 체계적으로 가능하다. 이 구조는 특정 기억 항목을 업데이트하거나 오래된 항목을 제거해 장기간에 걸쳐 일관된 실행 상태를 유지할 수 있게 했다. 메모리 에이전트 내부는 두 단계로 운용된다. Phase 1은 memory_update_status, memory_save_knowledge, memory_save_procedural, memory_delete 같은 도구 호출을 생성해 뱅크를 갱신하도록 하고, Phase 2는 갱신된 뱅크를 바탕으로 간결한 reminder를 생성하거나 명시적 <no_intervention/>을 선택해 다음 액션 에이전트 호출에 일시적 컨텍스트로 주입한다. 개입은 요구사항 위반 직전의 재활성화, 이전 실패의 회피, 진단의 재활성화처럼 다음 행동에 직접적 영향을 줄 가능성이 있는 항목으로 제한되며 광범위한 전략적 조언은 배제된다.

주요 결과

주요 실험은 Terminal-Bench 2.0과 τ2-Bench에서 수행되었고 성능 지표로 pass@1을 사용했다. Terminal-Bench에서 Sonnet 4.5 액션 에이전트는 baseline 37.6%에서 메모리 개입 후 45.9%로 +8.3 pp 상승했고 Opus 4.6 액션 에이전트는 43.5%에서 45.9%로 +2.4 pp 상승했다. τ2-Bench 전체(task-weighted)에서 Sonnet 4.5는 55.0%에서 61.8%로 +6.8 pp 상승했고 Opus 4.6은 66.2%에서 68.7%로 +2.5 pp 상승해 약한 에이전트에서 이득이 더 크지만 강한 에이전트에서도 개선이 유지되었다. 아블레이션 실험은 메모리 관리(Phase 1)와 개입(Phase 2)의 역할을 분리해 평가했다. 전체 시스템은 전체 뱅크 노출, 항상 주입, 주입만(뱅크 없음) 등의 변형보다 도메인 균형성(매크로 평균)에서 우수했고 전체 뱅크를 항상 노출하는 방식은 선택적 개입에 비해 일관성이 떨어지는 것으로 나타났다. 이 결과는 유지된 실행 상태와 선택적 개입의 조합이 가장 견고한 성능 향상을 제공함을 시사한다. 개방 가중치 메모리 에이전트 학습 실험에서는 SFT와 GRPO가 개입 정책을 보정하는 데 기여했다. SETA에서 SFT는 평균 보상을 0.720으로 회복했고 GRPO는 0.734로 추가 향상했으며 학습된 Qwen3.5-27B 메모리 에이전트는 고정 액션 에이전트에 대해 Terminal-Bench pass@1을 37.6%에서 41.1%로 +3.5 pp 개선했다.

기술 상세

전체 아키텍처는 별도의 프로세스로 운용되는 메모리 에이전트와 변경 없는 액션 에이전트의 런루프로 구성된다. 메모리 에이전트는 주기적 트리거(g(t))에 따라 호출되어 최근 k=8 메시지 창과 현재 메모리 뱅크를 입력으로 받는 구현을 주로 사용했다. 메모리 뱅크는 B_t=(s_t,K_t,P_t)로 표현되며 s_t는 내부 진행 상태, K_t는 안정적 사실, P_t는 시도-결과 기록을 각각 저장한다. Phase 1은 입력 트레이젝토리와 기존 뱅크를 받아서 순서화된 툴 호출 목록을 반환하는 형태로 구현되어 실행 시스템이 실제 뱅크 편집을 적용한다. 이 툴 호출 인터페이스는 메모리 갱신을 트랜잭션화하고 항목 식별자를 통해 업데이트·삭제를 명시적으로 수행할 수 있게 한다. Phase 2는 갱신된 뱅크를 읽고 다음 액션 호출에 주입할 간결한 reminder를 생성하거나 <no_intervention/>을 반환하는 결정만 수행해 액션 에이전트의 계획과 디코딩 절차를 건드리지 않는다. 학습 측면에서는 프롬프트된 메모리 에이전트로도 시스템을 구현할 수 있으나 추가 추론 비용과 캘리브레이션 문제를 완화하기 위해 개방 가중치 모델(Qwen3.5-27B)을 대상으로 SFT로 툴 호출 및 개입 결정을 증류하고 GRPO로 개입 정책을 보정했다. 학습은 SETA의 실행 가능 태스크를 사용해 교사 신호와 희소 보상 기반의 RL 업데이트를 병행했으며, 정책 업데이트는 pivot turn 중심으로 집중되어 희소 보상 문제를 완화했다.

한계점

논문은 남아 있는 실패 유형으로 메모리 에이전트의 개입 캘리브레이션 오류를 명시적으로 보고했다. 일부 경우 메모리 에이전트가 불필요하거나 중복된 정보를 제시해 추가 검증을 유발하거나 과도한 확인 절차로 진행을 지연시켰다. 또한 프롬프트 기반 메모리 에이전트는 매 메모리 스텝마다 추론 호출을 추가해 비용과 지연을 높이며 논문은 메모리 호출 스케줄 학습과 액션-메모리의 공동 학습을 향후 과제로 제시했다.

실무 활용

제안된 아키텍처는 기존 액션 에이전트를 변경하지 않고 메모리 에이전트를 병렬로 운용하므로 실무 시스템에 플러그인 형태로 통합 가능성이 높다. 메모리 에이전트는 메타데이터 기반의 구조화된 뱅크와 간결한 개입 메시지를 사용해 토큰 비용과 지연을 제어하면서 중요한 실행 상태를 재활성화한다. 제안 구현과 코드가 공개되어 있어 실험 재현과 엔지니어링 적용이 용이하다.

자동화된 명령줄 기반 디버깅 에이전트에서 이전 시도와 진단을 기록해 반복적 실패를 제거하는 작업 흐름에 사용될 수 있다.
대화형 고객 서비스 에이전트에서 인증·정책·사용자 상태 같은 상시 고려해야 할 사실을 필요 시 재활성화해 정책 위반을 줄이는 데 적용할 수 있다.
머신러닝 엔지니어링 파이프라인 자동화에서 진행 중인 하위 목표와 실패 히스토리를 유지해 반복 실험의 무의미한 재시도를 방지하는 케이스에 활용할 수 있다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

Memory Agent(메모리 에이전트)Execution State(실행 상태)Proactive Intervention(능동 개입)Terminal-Bench 2.0(터미널 벤치)SFT(지도 미세조정)GRPO(정책 보정)

용어 해설

메모리 에이전트(Memory Agent): — 메모리 에이전트는 실행 궤적을 연속 관찰하여 구조화된 메모리 뱅크(status, knowledge, procedural)를 갱신하고 필요할 때만 간결한 알림을 생성해 액션 에이전트에 일시적으로 주입하는 별도의 모델이다. 이 방식은 단순한 검색·회수와 달리 언제 기억을 행동 루프에 개입시킬지 결정하는 개입 정책(intervention policy)을 포함한다. 개입은 반복 실패 회피와 요구사항 재활성화 같은 장기 실행 제어 문제를 해결하기 위해 중요하다.
실행 상태(Execution State): — 실행 상태는 장기 작업 궤적에서 미래 행동을 제약해야 하는 정보 모음으로서 요구사항, 환경 사실, 이전 시도와 결과, 진단, 미해결 하위 목표 등을 포함한다. 이 논문 맥락에서는 이 정보가 단순히 기록되는 것을 넘어서 다음 결정에서 활성화될 필요가 있을 때를 판단하는 대상이다. 실행 상태가 행동 제어에 미치는 영향을 복원하는 것이 behavioral state decay 문제 해결의 핵심이다.
절차적 메모리(Procedural Memory): — 절차적 메모리는 시도된 명령과 실패·성공 사례, 진단 신호 등으로 구성된 메모리 뱅크의 하위 집합으로서 이후 결정이 중복 실패를 피하거나 성공적 단계를 재활용하도록 돕는다. 본 논문에서는 절차적 항목을 식별자·자연어 내용·메타데이터로 저장해 갱신·삭제가 가능하도록 설계했다. 절차적 메모리는 디버깅 연속성 유지와 반복 오류 방지에 직접적인 영향을 준다.

중요할 때 기억하기: 장기 수행 에이전트를 위한 능동형 메모리 에이전트

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

장기 실행 연구 에이전트를 위한 메모리 제어 루프 설계와 리콜 정책 실험.

에이전트 네이티브 메모리 시스템의 구조와 평가 방법론

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

장기 실행 연구 에이전트를 위한 메모리 제어 루프 설계와 리콜 정책 실험.

에이전트 네이티브 메모리 시스템의 구조와 평가 방법론