AgentCompiler로 에이전트 실행 분포 측정

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

에이전트 비용 최적화에 앞서 실행 패턴의 반복성과 집중도를 측정하는 도구 AgentCompiler가 공개됐다. 799회 실행에서 상위 20% 패턴이 50.9%를 차지해 컴파일 효과가 작았고, 토큰량의 95%가 prompt-cache reads로 나타나 캐시 읽기와 신규 처리 토큰을 분리해야 비용을 제대로 계산할 수 있었다. 도구는 로컬에서 네 가지 요약 수치를 출력하며 Claude Code, LangChain, LangGraph, OpenAI Agents SDK를 지원한다.

실용적 조언

에이전트 실행을 비용 최적화하기 전에 구조적 시그니처별 실행 수와 의미 클러스터별 분포를 함께 측정해야 한다. 같은 도구 흐름을 쓰더라도 작업 내용이 다르면 하나의 컴파일 대상으로 묶지 않는 편이 안전하다.
비용 모델에서는 prompt-cache reads와 새로 처리한 토큰을 별도 항목으로 집계해야 한다. 두 값을 합산하면 캐시 적중이 높은 환경에서 실제 비용과 크게 다른 결과가 나올 수 있다.
AgentCompiler를 로컬에서 실행해 verdict, pattern count, runs, concentration 네 가지 수치를 확인할 수 있다. Claude Code transcript에는 별도 설정 없이 적용할 수 있고, LangChain, LangGraph, OpenAI Agents SDK에는 SDK가 제공된다.

섹션별 상세

작성자는 에이전트 비용을 낮추려면 실행 요청이 반복되는지 먼저 측정해야 한다는 전제에서 AgentCompiler를 만들었다. 실행 기록은 순서가 있는 단계 종류, 정렬된 도구 이름 집합, 입력 스키마 키로 구조적 시그니처를 만든 뒤 같은 시그니처 안에서 TF-IDF와 truncated SVD, cosine distance 기반 average-linkage agglomerative clustering을 적용했다. 666개 trace에서 16개 시그니처 버킷 중 6개가 여러 의미 클러스터로 다시 나뉘어, 실행 구조만으로 작업을 묶으면 서로 다른 업무가 합쳐질 수 있음이 확인됐다.

작성자의 데이터에서는 799회 실행이 64개 패턴으로 나뉘었고, 상위 20%인 13개 안팎의 패턴이 전체 실행의 50.9%를 차지했다. 전체 실행의 80%에 도달하려면 32개 패턴이 필요해 특정 패턴에 실행이 강하게 몰리지 않는 평평한 꼬리가 나타났다. 이 분포에서는 반복 작업을 별도 코드나 작은 모델로 컴파일해도 전체 비용 변화가 매우 작을 가능성이 높다는 결론으로 이어진다.

토큰 비용은 일반적인 전체 토큰 합산보다 캐시 읽기와 신규 처리 토큰을 분리해 계산해야 한다는 결과가 나왔다. 전체 토큰량의 95%가 prompt-cache reads였고, 캐시 읽기는 485.6M개로 신규 처리 토큰 23.5M개의 21배였다. 따라서 캐시 읽기를 새로 처리한 토큰과 같은 단가로 합치면 비용 추정이 한 자릿수 이상 크게 어긋날 수 있다.

용어 해설

구조적 시그니처(Structural Signature): — 에이전트가 어떤 순서로 단계를 실행했는지와 사용한 도구 집합, 입력 스키마 키를 묶은 실행 구조의 지문이다. 작업 내용이 달라도 처리 방식이 같으면 같은 버킷에 들어가며, 이후 의미 기반 분류와 실행 패턴 비교의 기준으로 쓰인다.
TF-IDF: — 문서나 실행 기록에서 특정 단어가 얼마나 중요한지 계산하는 벡터화 방법이다. 자주 등장하는 단어의 영향은 낮추고 특정 기록에 두드러지는 단어의 가중치는 높여, 텍스트 기반 의미 유사도를 계산하는 입력으로 사용한다.
절단 특이값 분해(Truncated SVD): — 고차원 TF-IDF 벡터를 더 적은 차원의 공간으로 줄이는 차원 축소 기법이다. 원래 단어 공간의 주요 구조를 보존한 저차원 표현을 만들어 cosine distance 기반 클러스터링을 효율적으로 수행하도록 돕는다.
프롬프트 캐시 읽기(Prompt-cache Read): — 이전에 처리한 프롬프트 토큰을 캐시에서 다시 읽어 새로 처리하는 비용을 줄이는 경로다. 원문 데이터에서는 캐시 읽기 토큰과 신규 처리 토큰을 분리해야 실제 비용 구조를 제대로 계산할 수 있다는 점이 핵심으로 나타났다.

언급된 도구

AgentCompiler추천링크

에이전트 trace를 구조적 시그니처와 의미 클러스터로 나누고 실행 패턴의 집중도와 토큰 분포를 계산한다.

Claude Code중립

AgentCompiler가 별도 설정 없이 처리할 수 있는 transcript 형식이다.

LangChain중립

AgentCompiler SDK가 지원하는 에이전트 프레임워크다.

LangGraph중립

AgentCompiler SDK가 지원하는 에이전트 프레임워크다.

OpenAI Agents SDK중립

AgentCompiler SDK가 지원하는 에이전트 개발 도구다.

언급된 리소스

GitHubAgentCompiler