에이전트 토큰 낭비 분석: 모델 선택보다 컨텍스트·툴 출력 제어의 영향

커뮤니티 반응은 경험 공유와 회의론이 혼재한 양상으로 나타났다. 많은 사용자가 도구 스키마와 브라우저 스냅샷이 토큰 누수의 주요 원인이라는 유사한 관찰을 공유했으며 실제 측정치나 사례를 근거로 해결책을 제시한 댓글들이 존재했다. 동시에 일부는 벤더가 제시한 절감 수치에 대해 자체 워크로드에서 재현하지 못했다는 회신을 달아 주장의 보편성에 의문을 제기했다. 전반적으로 실전 검증의 중요성이 강조되며 공급자 주장 수치의 재검증을 권하는 분위기였다.

• 도구 스키마를 호출 시점에 동적 로드하거나 필요한 부분만 전송하도록 설계하면 호출당 토큰 오버헤드를 줄일 수 있으며 이는 단일 엔드포인트에서 반복적으로 스키마를 전송하던 구조를 개선하는 것으로 구현 가능하다.
• 셸 명령이나 외부 도구 출력에는 바이트 또는 토큰 상한을 적용하고, 예측 불가능한 긴 출력은 요약 파이프라인을 통과시켜 모델 입력으로 보내면 단일 호출로 인한 컨텍스트 폭주를 방지할 수 있다.
• 브라우저 기반 컨텍스트는 전체 페이지 스냅샷을 무조건 전송하지 말고 DOM 요소 필터링, 변경점 델타 전송, 또는 선택적 스냅샷으로 스냅샷 크기를 줄여야 하며 이러한 변경은 pass-rate와 토큰 절감률을 함께 측정해 검증해야 한다.

Model Routing

— 작업 유형 또는 입력 특성에 따라 요청을 서로 다른 모델로 분배하는 기법으로, 입력을 분류한 뒤 각 분류에 적합한 크기·비용 성능 특성을 가진 모델로 요청을 보내 토큰 비용과 레이턴시를 최적화하는 방식이다. 라우팅은 토큰당 비용을 낮추지만 실제 절감액은 전송되는 토큰 총량을 줄이지 못하면 제한적이다. 본문에서는 모델 라우팅이 일부 이득을 제공하지만 컨텍스트 제어에 비해 비용 절감의 핵심 레버는 아닌 것으로 나타났다.

Tool Schema

— 에이전트가 외부 도구를 호출할 때 사용하는 입력·출력 형식과 메타데이터 정의를 의미하며, 이 스키마가 대화 컨텍스트로 반복 전송되면 대량의 토큰을 유발한다. 스키마 전송을 최소화하거나 동적 로딩으로 전환하면 호출당 컨텍스트 오버헤드를 크게 줄일 수 있다. 본문 사례에서는 508개 도구의 스키마를 매번 전송하던 구성을 수정해 호출 비용을 큰 폭으로 절감했다.

Context Compaction

— 대화 히스토리나 외부 문서에서 불필요한 부분을 제거하거나 요약하여 모델 입력 토큰 수를 줄이는 처리로, 토큰 절감과 함께 상태 보존이나 반복 동작 유발 위험을 동시에 내포한다. 압축 방식은 세션 시작 시 전체를 축소하는 방식이나 중간에 부분 압축을 적용하는 방식 등으로 구현되며, 부적절한 타이밍·정책은 작업 흐름 손상이나 루프를 초래할 수 있다. 본문에서는 몇몇 사례에서 압축 후 에이전트가 반복 동작을 시작하거나 기대치보다 적은 절감률이 관찰되었다고 보고됐다.

Prompt Caching

— 동일하거나 유사한 프롬프트 결과를 저장해 재요청 시 모델 호출을 줄이는 전략으로, 빈번한 반복 요청에서 추론 비용을 줄일 수 있으나 캐시 저장·관리 비용이 별도로 발생할 수 있다. 캐싱은 히트율과 저장 비용의 균형을 필요로 하며 일부 사례에서는 저장 비용이 절감액을 초과하는 역효과가 관찰되었다. 본문은 캐싱이 유효한 상황과 비용 전이 위험을 동시에 보고했다.