ACE 대신 적은 토큰으로 같은 효과를 낸 ALTK‑Evolve

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

ALTK‑Evolve와 ACE는 에이전트의 과거 궤적에서 교훈을 추출해 추론 시 문맥으로 재사용하는 같은 원칙을 공유하지만, 저장소를 통합하는 방식과 모델에 전달하는 방식에서 차이가 있다. ACE는 하나의 통합된 플레이북을 매 스텝에 주입하는 반면 ALTK‑Evolve는 지지 횟수가 높은 핵심 항목을 고정으로 주입하고 과업별로 소수의 관련 교훈만 선택해 주입하거나 능력 여유가 있을 때만 전체 집합을 보낸다. AppWorld 벤치에서 ALTK‑Evolve는 강한 모델에서 높은 정확도와 낮은 토큰을 동시에 달성했고 약한 모델에서는 정확도를 유지하면서 토큰을 크게 절감했다; 결론적으로 동일한 교훈을 담되 전달을 캘리브레이션하면 동일하거나 더 나은 성능을 훨씬 적은 비용으로 얻을 수 있다.

섹션별 상세

ALTK‑Evolve와 ACE는 둘 다 에이전트가 실행한 궤적에서 실패와 회복 사례를 추출해 교훈(lesson)으로 저장하고 추론 시 재사용한다는 공통 목표를 가진다; 두 시스템 모두 교훈을 지나치게 요약해 버리지 않고 각각의 교훈에 대한 지지 횟수(support count)를 유지해 중요성을 보존한다. 구현 관점에서 ACE는 항목별로 harmful/helpful 카운트를 붙인 항목화된 플레이북을 유지하고 모델이 읽을 때 관련도를 추출하도록 설계되며, ALTK‑Evolve는 독립적으로 검색 가능한 개별 가이드라인 집합을 유지한다. 둘 모두 사람이 라벨을 달거나 가중치 업데이트를 하는 대신 저장된 교훈을 문맥으로 재주입해 에이전트가 동일한 실수를 반복하지 않도록 만든다.

두 시스템의 핵심 차이는 저장소를 어떻게 구성하느냐(consolidation)와 그 저장소를 어떻게 모델에 전달하느냐(delivery)에 있다; ACE는 Generator→Reflector→Curator 루프를 통해 단일 통합 플레이북을 점진적으로 확장하고 임베딩 기반 중복 병합으로 저장소를 압축하면서 병합된 항목에 원래의 지지 횟수를 합산해 보존한다. ALTK‑Evolve는 교훈을 전략/회복/최적화 같은 타입으로 추출하고 출처 궤적 수준까지 인과 근거를 보존하되, 항목 단위로 유지해 서로 다른 서브태스크 간 전이가 가능하게 만든다. 이 차이는 같은 정보가 저장되는 방식은 같지만 항목 경계와 전이 단위가 달라 실제 검색·주입 시 토큰 소비와 효과에 차이를 낳는다.

전달 방식이 토큰 비용과 성능에 직접적인 영향을 줬다; ACE는 매 스텝마다 통합 플레이북 전체를 주입하는 방식을 고수한 반면 ALTK‑Evolve는 고지지 항목(core)과 과업별로 선택된 소수 항목을 우선 검색해 주입하거나 모델 능력이 충분할 때만 전체 집합을 보낼 수 있도록 캘리브레이션을 적용했다. AppWorld 실험에서 같은 ReAct 에이전트와 동일한 환경을 쓰되 두 시스템을 같은 모델로 비교하면, 강한 모델(DeepSeek‑V3.2)에서는 ALTK‑Evolve가 TGC 89.3, SGC 80.4를 기록하며 ACE(80.4/73.2)를 능가했고 토큰은 ALTK‑Evolve가 263K로 ACE의 634K보다 크게 적었다. 약한 모델(gpt‑oss‑120b)에서는 정확도는 거의 동등(56.0 vs 54.8 TGC)하지만 ALTK‑Evolve의 토큰은 116K로 ACE의 777K보다 훨씬 낮아 비용 이점이 더 극명했다.

난이도별 분석은 왜 선택적 전달이 중요한지 설명해 준다; 강한 모델에서는 통합 플레이북 전체를 흡수해 중간 난이도에서 ACE가 근소한 우위를 보였으나 ALTK‑Evolve는 Easy, Hard, Overall에서 우위를 차지해 모델의 여유 용량이 많을수록 많은 교훈을 전달하는 방식이 더 유리함을 보여준다. 반대로 약한 모델에서는 Easy·Medium에서는 ACE의 포괄적 지침이 도움이 되었지만 Hard 티어에서는 교훈을 선별해 정확한 지침만 주입하는 ALTK‑Evolve 방식이 더 나은 선택이었다는 점이 결과 테이블에 드러난다. 이 관찰은 같은 교훈 세트라도 모델 능력에 따라 주입량을 조정하는 캘리브레이션이 효과적이라는 설계 지침으로 연결된다.

실용적 결론과 배포 관점은 단순하다; 에이전트 메모리의 핵심은 교훈을 압축하지 않고 지지 횟수를 보존하는 것이며, 저장소를 어떻게 구성할지는 중요하지만 더 큰 차이를 만든 것은 전달 정책이다. ALTK‑Evolve는 추출·통합·검색 파이프라인을 라이브러리 형태로 제공해 필요할 때 소수의 관련 가이드라인만 검색해 주입함으로써 동일하거나 더 나은 성능을 훨씬 적은 추론 토큰으로 달성했다고 보고서에서 밝혔다. 보고서는 ALTK‑Evolve 라이브러리와 전체 기술 보고서, 그리고 AppWorld 벤치 결과를 통해 설계 선택과 성능 근거를 확인할 수 있도록 링크를 제공하고 있다.

이미지 분석

Chart
왼쪽 패널은 약한 모델(gpt‑oss‑120b)에서 ACE와 ALTK‑Evolve의 TGC를 난이도별로 비교해 주며, ALTK‑Evolve가 Hard에서 우위지만 Easy·Medium에서는 ACE가 약간 앞선 점을 보여준다. 오른쪽 패널은 강한 모델(DeepSeek‑V3.2)에서 ALTK‑Evolve가 Easy·Hard·Overall에서 ACE를 앞서는 반면 Medium에서는 ACE가 근소하게 우세한 패턴을 보여, 모델 역량에 따른 전달량 조절이 결과에 영향을 줬다는 본문의 주장을 시각적으로 뒷받침한다.
난이도별 메모리 효과 바 차트

Chart
산점도는 총 비용 대비 태스크 정확도를 표시하며 우리 라우터(Our router)와 두 가지 라우터 구성(configurations)을 통해 비용‑정확도 트레이드오프를 시각화한다. 그림 안의 주석과 삽입된 분포 막대는 특정 구성에서 모델 분배 비율(gpt‑oss‑120b, claude‑sonnet‑4.6, claude‑opus‑4.7 등)을 보여 주며, 본문에서 주장한 '선택적 검색이 비용을 크게 낮추면서 같은 수준의 정확도를 유지'한다는 점을 보완한다.
비용 대비 정확도 산점도와 라우터 구성 분포

용어 해설

에이전트식 메모리(Agentic memory): — 에이전트가 과거 수행 궤적에서 규칙과 회복 전략을 추출해 추론 시 재사용하는 방식으로, 가중치 업데이트나 사람 레이블 없이 과거 행동에서 배운 교훈을 문장 형태로 보관하고 재주입한다.
플레이북 통합(Playbook consolidation): — 실패·복구 사례에서 생성된 여러 교훈을 하나의 통합된 저장소로 합쳐 중복을 병합하고 교훈별로 지지 횟수(provenance/support)를 유지해 나중에 조회 가능한 단일 플레이북을 만든다는 개념이다.
선택적 검색(Selective retrieval): — 모델 능력과 과업 요구에 맞춰 보관된 교훈의 일부만을 검색해 문맥에 주입하는 전략으로, 전체 플레이북을 항상 주입하는 대신 모델이 실제로 소화 가능한 분량만 전달해 토큰 비용을 줄인다.
지지 횟수(Support counts): — 각 교훈이 몇 개의 독립적 에피소드에서 도출되었는지를 세는 계수로, 단일 발생의 규칙과 여러 번 관찰된 규칙을 구별해 저장소에서 압축 없이 중요도를 판단하는 근거로 쓴다.
AppWorld 벤치마크(AppWorld benchmark): — 168개 과제로 구성된 테스트셋으로 ReAct 코드 에이전트를 대상으로 TGC(Task Goal Completion)와 SGC(Scenario Goal Completion) 같은 지표로 메모리기술의 효과를 측정하는 내부 평가 환경이다.

근거 모음

근거

ALTK‑Evolve는 DeepSeek‑V3.2에서 TGC 89.3, SGC 80.4를 기록하며 ACE(80.4/73.2)보다 높은 정확도를 보였고 토큰 비용은 263K로 ACE의 634K보다 크게 낮았다. — 본문의 AppWorld 결과 표(‘DeepSeek‑V3.2 — test_normal’)와 본문 단락의 숫자 요약을 확인하면 된다; 표 행 ReAct + ACE 및 ReAct + ALTK‑Evolve의 TGC, SGC, Tokens/task 수치가 근거다.
gpt‑oss‑120b(약한 모델)에서는 ALTK‑Evolve가 ACE와 유사한 TGC(56.0 대 54.8)를 달성하면서 토큰은 116K로 ACE의 777K보다 훨씬 적게 사용했다. — 본문의 AppWorld 결과 표(‘gpt‑oss‑120b — test_normal’) 및 by‑difficulty 표의 gpt‑oss‑120b 항목에서 TGC와 Tokens/task 수치를 확인할 것.
ACE는 매 단계에 통합된 전체 플레이북을 주입하는 반면 ALTK‑Evolve는 모델 능력과 과업에 맞춰 핵심 항목과 소수의 선택된 교훈만을 검색해 주입하는 전달 정책을 사용했다. — 본문의 'Delivery (what reaches the model at inference)' 단락과 비교 설명, 그리고 토큰 원인이 설명된 절을 근거로 삼을 것.

기술

ALTK‑Evolve
ACE
DeepSeek‑V3.2
gpt‑oss‑120b
ReAct
AppWorld benchmark

활용 사례

엔터프라이즈 멀티스텝 작업 자동화에서 에이전트가 과거 실패로부터 배운 규칙을 재사용해 오류를 줄이는 상황
모델 능력에 따라 전달할 문맥량을 조정해 추론 토큰 비용을 절감하려는 서비스 운영