에이전트도 시간이 지나면 노화할까? AgingBench 연구 결과

실용적 조언

작성자는 Claude Code CLI 환경에서 Sonnet 4.6을 Opus 4.7로 교체했을 때 PyTest 통과율이 15% 하락하는 현상을 보고했다. 이는 단순히 모델의 원시 성능이 높다고 해서 장기 배포 환경에서 더 나은 결과를 보장하지 않음을 시사한다.

AgingBench는 에이전트가 여러 세션을 거치며 메모리 상태가 진화하는 과정(압축, 간섭, 수정, 유지보수 충격)을 측정한다. 강력한 베이스 모델이라도 주어진 메모리 정책 하에서 노화 현상을 피할 수 없다는 점이 핵심이다.

연구 결과에 따르면 메모리 정책만으로도 에이전트 반감기(half-life)에서 4.5배의 차이가 발생했다. 이는 모델 교체보다 메모리 관리 전략이 에이전트의 장기 성능 유지에 더 결정적인 요인임을 보여준다.

종단적 벤치마크(Longitudinal Benchmark): — 시간의 흐름에 따라 동일한 대상의 변화를 추적하여 측정하는 평가 방식이다. 본문에서는 에이전트가 단일 작업이 아닌 장기 배포 환경에서 세션을 거치며 성능이 어떻게 변하는지를 평가하는 데 사용된다.
에이전트 반감기(Agent Half-life): — 에이전트가 배포 후 유효한 성능을 유지하는 기간을 의미한다. 메모리 정책이나 환경 변화에 따라 에이전트의 성능이 절반으로 떨어지는 시점을 측정하여 에이전트의 장기적 안정성을 평가하는 지표로 활용된다.
유지보수 충격(Maintenance Shocks): — 시스템 업데이트, 환경 설정 변경 등 외부 요인이 에이전트의 메모리 상태나 작업 수행 능력에 갑작스러운 변화를 주는 현상이다. 장기 배포 환경에서 에이전트의 견고함을 테스트하는 요소로 작용한다.

Claude Code중립

CLI 기반 코딩 에이전트

AgingBench추천

장기 배포 환경에서의 에이전트 성능 측정 벤치마크