자율적 컨텍스트 압축: 에이전트가 스스로 메모리를 관리하는 방법

섹션별 상세

기존의 에이전트 하네스는 토큰 사용량이 85%에 도달하는 등 고정된 임계값에서 기계적으로 컨텍스트를 압축했으나, 이는 복잡한 리팩터링 중간에 맥락을 유실시키는 등 비효율적인 결과를 초래했다.

에이전트에게 스스로 /compact 도구를 호출할 수 있는 권한을 부여하여, 새로운 작업 시작 시점이나 대량의 컨텍스트 소비 전후 등 최적의 타이밍에 자율적으로 메모리를 정리하도록 개선했다.

컨텍스트 압축 시 최근 메시지의 10%는 그대로 유지하고 이전 메시지들은 요약본으로 대체하며, 원본 메시지 전체는 가상 파일 시스템의 .md 파일로 저장하여 에이전트가 필요할 때 다시 참조할 수 있는 경로를 제공한다.

자율적 컨텍스트 압축(Autonomous context compression)의 작동 과정을 보여주는 아키텍처 다이어그램이다. — Diagram요약 전(Before summarizing)의 긴 쿼리와 응답 목록이 'Compaction step'을 거쳐 요약본과 파일 포인터로 변환되는 과정을 시각화한다. 원본 메시지는 Filesystem에 저장되고, 에이전트의 컨텍스트에는 요약된 내용과 도구 호출 결과만 남게 되어 메모리 공간을 확보하는 메커니즘을 명확히 보여준다.

Deep Agents SDK에서는 create_summarization_tool_middleware를 미들웨어 목록에 추가하는 것만으로 간단히 기능을 활성화할 수 있으며, CLI에서는 사용자가 직접 /compact 명령어를 입력해 수동으로 트리거할 수도 있다.

python

from deepagents import create_deep_agent 
from deepagents.backends import StateBackend 
from deepagents.middleware.summarization import ( 
    create_summarization_tool_middleware, 
) 

backend = StateBackend # if using default backend 
model = "openai:gpt-5.4" 

agent = create_deep_agent( 
    model=model, 
    middleware=[ 
        create_summarization_tool_middleware(model, backend), 
    ], 
)

Deep Agents SDK에서 자율 요약 도구 미들웨어를 활성화하는 예시 코드

자체 벤치마크 테스트 결과 에이전트들은 압축 도구 사용에 있어 보수적인 경향을 보였으나, 실제로 도구를 호출할 때는 워크플로를 명확히 개선하는 시점을 선택하는 것으로 확인됐다.

용어 해설

컨텍스트 창(Context Window): — LLM이 한 번에 처리할 수 있는 최대 토큰의 양이다. 이 범위를 초과하면 이전 정보가 유실되거나 모델의 추론 성능이 저하되는 현상이 발생한다.
컨텍스트 부패(Context Rot): — 대화가 길어짐에 따라 불필요하거나 중복된 정보가 쌓여 모델의 주의력이 분산되고 응답 품질이 떨어지는 현상이다. 효율적인 정보 압축을 통해 이를 방지할 수 있다.
미들웨어(Middleware): — 애플리케이션의 핵심 로직과 외부 서비스 사이에서 데이터를 처리하거나 기능을 추가하는 소프트웨어 계층이다. 이 아티클에서는 에이전트의 메시지 처리 과정에 요약 기능을 삽입하는 용도로 사용된다.
토큰 임계값(Token Threshold): — 특정 동작을 실행하기 위해 설정된 토큰의 양이다. 기존 시스템은 주로 전체 컨텍스트의 85% 등 고정된 수치에 도달했을 때 기계적으로 압축을 실행하는 방식을 사용했다.

기술

Deep Agents SDK
Python
LangChain
OpenAI GPT-5.4

활용 사례

장기 실행 코딩 에이전트
대규모 문서 분석 챗봇
다단계 리팩터링 자동화 도구

언급된 리소스

API DocsDeep Agents SDK Documentation