에이전트 작업 실제 비용 v2 — 토큰 사용량을 반영한 비교 (~100K 입력 + 5K 출력, 측정된 발화량, 약 10단계)

댓글에서는 처음 분석이 토큰 단가 기반으로만 계산해 편향을 만들었다는 지적(u/miklosp)을 시작으로 보정 요구와 추가 데이터 제공 제안이 이어졌다. 일부 참가자는 AA의 인덱스 버전 차이와 에이전트 실제 트레이스의 불일치 가능성을 지적하며 보다 정확한 재현 데이터를 제시하라고 요청했다. 작성자는 재계산 결과와 방법·링크를 댓글 첫 문단에 정리했고 추가 실사용 트레이스가 있다면 다시 반영하겠다고 응답해 토론이 실무적 근거를 모으는 방향으로 이어졌다.

• 에이전트 비용을 추산할 때는 모델별 출력 토큰 합계를 측정해 가격에 곱하는 방식으로 발화량을 반영해야 한다는 점이 도출됐다.
• 반복되는 prefix나 상태를 캐싱하면 출력 발화량이 커도 전체 비용을 크게 낮출 수 있으므로 캐시 적중률을 우선적으로 최적화할 필요가 있다.
• 공개 벤치마크 수치(예: AA의 eval index)를 사용할 때는 인덱스 버전과 평가 믹스가 실제 워크로드와 일치하는지 확인해 교차 검증을 수행해야 한다.

Token verbosity

— 한 모델이 동일한 작업에서 생성하는 출력 토큰의 총량을 의미한다. 입력과 내부 단계는 동일하더라도 모델의 응답 길이와 반복적 중간 출력이 다르면 전체 비용이 달라지므로 비용 비교에서 발화량을 모델별로 보정해야 한다. 이 글에서는 AA(Artificial Analysis)의 출력 토큰 카운트를 발화량의 근사치로 사용했다.

Prompt caching

— 동일한 프롬프트나 대화 prefix를 해시 키로 저장하고 이후 요청에서 캐시된 토큰 계산 결과를 재사용하는 방식이다. 입력 반복 구간의 재계산을 회피해 추론 시 토큰 처리량과 비용을 크게 줄일 수 있으며 캐시 적중률에 따라 비용 절감 폭이 크게 달라진다. 이 글에서는 캐시 적중률이 발화량 차이보다 비용에 더 큰 영향을 미친다고 평가했다.

Evaluation index

— 모델별로 균일한 입력 항목을 돌려 결과 토큰·응답 특성 등을 측정해 정리한 데이터 집합 또는 벤치마크를 의미한다. 이 글에서는 Artificial Analysis(AA)의 eval index에서 제공한 모델별 출력 토큰 합계를 발화량 프록시로 사용했고 인덱스 버전 차이가 결과 해석에 영향을 미쳤다. 인덱스는 실무 작업 트레이스와는 다를 수 있어 주의가 필요하다.