노이즈 많은 실행 궤적에서 원인을 추적해 에이전트 최적화를 수행하는 STRACE

장기 시퀀스 기반 에이전트의 실패는 표면적 증상과 실제 원인이 시간적으로 멀리 떨어져 있어 단순 요약이나 절단 기반 문맥 관리로는 올바른 수리가 어려웠다. STRACE는 코드 수준의 모듈 토폴로지와 실행 로그의 구조적 패턴을 결합해 최적화에 전달할 고신호 문맥만을 추출함으로써 옵티마이저가 근원적 결함을 겨냥하게 했다. 이 방식은 맥락 창 크기가 제한된 상황에서도 효과적인 수리 신호를 제공하여 비용과 과적합 문제를 동시에 완화했다.

장기 에이전트의 실행 로그는 성공 단계와 실패 증상이 혼재하여 옵티마이저에 전달할 때 신호 대비 잡음비가 현격히 낮아진다. 특히 많은 성공 단계가 실패의 원인과 무관하게 등장하면 옵티마이저는 잘못된 상관관계를 학습하거나 비용이 큰 전체 트레이스를 처리하느라 과적합과 비효율에 빠지기 쉽다. 이 문제는 단순 요약이나 최근 구간 절단으로 해결되지 않으며, 오히려 원인과 시간적 거리가 있는 상위 모듈을 놓치게 만든다. STRACE는 이 문제를 구조적 관점에서 접근했다. 에이전트의 코드·구성·로그로부터 EDG를 구성하여 모듈 간 데이터·제어 의존성을 토폴로지로 포착했다. 이 토폴로지를 이용해 manifestation 노드에서 역방향으로 도달 가능한 노드만 보존하는 인과 슬라이스를 얻음으로써 문맥 창 내에서 실제 인과적 증거만을 남겼다. 따라서 옵티마이저가 받는 입력은 시간적 근접성 대신 구조적 인과성에 기반한 고신호 문맥이 된다. 이 구조적 감축은 대표 실패 선별과 결합되어 배치 전체에서 비용 대비 높은 수리 신호를 확보하게 했고, 그 결과 근원 모듈에 귀납적 규칙을 주입하는 방식으로 안전하고 재사용 가능한 정책 개선을 가능하게 했다.

STRACE는 네 단계로 구성된 파이프라인을 사용해 대량의 실행 궤적을 최적화 가능한 증거로 압축한다. 첫 단계인 Structural Modeling에서는 LLM과 코드 파싱을 통해 에이전트의 모듈 집합과 이들이 생성·소비하는 아티팩트를 기준으로 Execution Dependency Graph(EDG)를 구성했다. EDG는 데이터 의존성과 제어 의존성 두 축으로 간선을 정의하여 이후 단계들의 역방향 탐색과 경로 검증에 사용되는 구조적 사전 역할을 수행한다. 두 번째 단계인 Failure Pattern Mining 및 Trace Filtering에서는 맞춤형 파서를 동적으로 생성해 전역 성공/실패 레이블과 로컬 노드 상태를 추출했다. 이 데이터를 통계적 심각도(특정 로컬 오류가 전체 실패에 기여하는 조건부 확률)와 구조적 경로 패턴(무한 루프, 데드엔드 등)으로 요약하고, 심각도와 토폴로지 유사성에 기반한 클러스터링과 다양성 샘플링을 통해 소수의 대표 트레이스를 선택했다. 세 번째 단계인 Causal Localization에서는 대표 트레이스의 manifestation 노드에서 EDG를 따라 역방향으로 도달 가능한 노드만을 보존해 인과 슬라이스를 만들고, 그 슬라이스 상에서 손상된 정보 흐름을 추적해 root-cause 노드를 확정했다. 이 과정은 역방향 도달성(→*)을 기준으로 구조적 영향이 없으면 해당 노드를 제거하므로 시간적 근접성만으로 판단하는 절단 방식보다 인과적 정확도가 높다. 마지막으로 Inductive Policy Optimization 단계에서는 동일 root-cause에 대한 여러 인과 슬라이스를 집계하여 공통의 휴리스틱을 귀납적으로 합성하고, 합성된 규칙을 근원 모듈의 텍스트 지침에 주입해 지속적이고 범용적인 정책 업데이팅을 수행했다. 이 주입 방식은 코드 변경을 요구하지 않으므로 안전성 검토와 롤백이 용이하다.

핵심 벤치마크에서 STRACE는 전체 비교 대상 중 가장 높은 성능을 기록했다. HotpotQA에서는 STRACE가 Exact Match 68.5%를 달성해 베이스 에이전트(37.0%)와 여러 최적화 기법 대비 유의미한 개선을 보였다. WebArena 영역에서는 도메인별 차이가 있었으나 전반적으로 절차적 문맥과 실패 인식을 동시에 보존해 경쟁력 있는 성과를 냈다. 특히 도메인 집약적이고 긴 문맥을 요구하는 VeruSAGE-Bench에서는 STRACE가 평균 Success Rate를 42.5%에서 58.5%로 절대 16.0%p 향상시켰고, 이는 가장 강력한 비교기법인 GEPA 대비 +11.3%p 우위를 의미한다. 확장성 및 비용 분석에서는 사례 수가 증가할수록 전체 비용 대비 성능 곡선에서 STRACE가 가장 유리한 트레이드오프를 보였다. 전체 궤적을 그대로 사용하는 TextGrad는 비용이 급격히 상승했으며 노드 절단 중심의 GEPA는 비용은 낮추었으나 근원 원인 포착에서 한계를 드러냈다. 탈감축(ablation) 실험에서 구조 모델링을 제거하면 성능과 비용 면에서 모두 악영향이 발생했고, 트레이스 필터링 제거 시 최적화 비용이 크게 증가했다. 인과 국지화 관련 실험에서는 현재 노드 기준 절단이 상위 원인을 놓치는 반면 전체 절단은 불필요한 잡음을 도입해 비용이 증가하는 양상을 보였고, STRACE의 인과 슬라이스가 이 둘을 균형있게 해결했다.

전체 아키텍처는 EDG 구성, 실패 패턴 마이닝, 인과 국지화, 귀납적 최적화의 4단계 모듈로 구성된다. EDG는 에이전트 코드 베이스를 파싱해 원자적 기능 모듈을 노드로 식별하고, 모듈들이 생성·소비하는 아티팩트를 분석해 데이터 의존성과 제어 의존성 간선을 유추하여 얻는다. 실패 패턴 마이닝 단계에서는 단일 파일 기반 파일럿 트레이스로부터 구조적 구분자(예: "Action:", "Observation:")를 식별해 맞춤형 파서를 자동 생성하고 전 트레이스에 적용해 전역 결과(y∈{Success,Failure})와 로컬 노드 상태를 추출했다. 대표 트레이스 선택은 통계적 심각도와 구조적 호출 패턴을 결합한 클러스터링과 다양성 기반 샘플링으로 이루어지며, 노드 수준 오류가 명시되지 않는 경우 전역 레이블과 호출 토폴로지만으로도 클러스터링이 가능하도록 설계되었다. 인과 국지화에서는 manifestation 노드 v_m에서 시작해 EDG의 역방향 도달성(→*)로 연결 가능한 노드들만 보존하는 backward slicing을 수행하고, 슬라이스 상에서 손상된 맥락의 흐름을 추적해 최초로 논리적 편차가 발생한 root-cause 노드 v_r를 결정한다. 실험 설정은 Claude Sonnet 4.5를 메타 컨트롤러로 사용하고, bottleneck threshold k=5 및 exemplar count s=5의 하이퍼파라미터로 최적화를 진행했으며 비용 평가는 API 토큰 사용량 기반의 USD 추정으로 계산되었다. 또한 VeruSAGE-Bench의 도메인별 특성(평균 947라인의 긴 문맥)은 STRACE의 구조적 접근이 비용 대비 효율을 제공하는 주요 사례로 사용되었다.

STRACE는 에이전트의 코드·프롬프트·구성 파일과 같은 시스템 레벨 가시성이 전제될 때 가장 잘 작동한다. 완전한 블랙박스 설정에서 EDG를 구성할 수 없으면 인과 슬라이스와 root-cause 분리가 어려워지고 성능 이점이 줄어든다. 논문에는 블랙박스 확장에 대한 해결책이 제시되어 있지 않으며 해당 확장은 향후 연구 과제로 남아 있다.