API 호출 비용 급증 원인 분석과 모델 라우팅·캐시 등으로 요청당 비용 약 40% 절감한 경험

이 글에서 sonnet은 깊은 추론이 필요한 호출에 할당한 고성능 모델 역할을 했다. 작성자는 기본 설정이 모든 호출을 sonnet으로 보내 비용이 증가했다고 관찰했고 이후 라우팅 정책을 통해 sonnet을 제한적으로 사용했다. 모델 선택을 제한적으로 적용하자 고비용 호출이 줄어들었다.

haiku는 분류나 구조화된 짧은 출력에 할당한 경량 모델 역할을 했다. 작성자는 haiku로 분류·추출 작업을 라우팅해 토큰 및 비용을 절감했다고 보고했고 단순 출력에 적합한 모델로 활용했다. 적절한 작업-모델 매핑이 비용 최적화에 기여했다.

portkey는 호출 패턴을 관찰해 어떤 호출이 토큰을 많이 소비하는지 가시성을 확보하는 도구로 활용되었다. 작성자는 portkey를 통해 라우팅과 캐시 영향 전후의 호출 유형별 변화를 모니터링했다고 밝히며 가시성이 정책 결정에 중요하다고 적었다. 로그와 메트릭을 기반으로 정책을 조정하는 과정에서 유용한 데이터 소스를 제공했다.

helicone은 API 사용량과 토큰 소비를 추적하는 관찰 도구로 사용되었으며 호출별 비용 분포를 파악하는 데 기여했다. 작성자는 helicone을 통해 어떤 호출이 토큰을 많이 소모하는지 확인하고 우선적으로 개선할 대상을 식별했다고 보고했다. 추적 결과가 라우팅·캐시 도입 판단의 근거로 쓰였다.

GPTcache는 임베딩 기반 유사도 검색을 이용한 응답 캐시 구현체로 참고한 라이브러리였다. 작성자는 이 구현체를 이용해 유사 쿼리에 대해 캐시된 응답을 반환하도록 구성해 반복 호출을 줄였고, 캐시 적중률과 임계값 조정이 비용 절감 성과에 직접적인 영향을 미쳤다고 보고했다. 반복 입력이 많은 서비스에서 실무 적용 가능성이 높았다.

llamaparse는 PDF 등 문서에서 불필요한 헤더·보일러플레이트를 제거하고 핵심 텍스트를 추출하는 도구로 활용되었다. 작성자는 문서를 정제해 전송함으로써 동일 문서에 대해 전송되는 토큰 범위를 최적화했고 문서 기반 호출의 평균 토큰 사용량이 감소했다고 보고했다. 문서 전처리 단계에서 구조화된 추출을 수행하는 데 유용했다.

zep는 롤링 요약과 메모리 관리를 통해 대화 컨텍스트를 압축하는 도구 사례로 언급되었다. 작성자는 zep를 통해 오래된 발화를 요약해 토큰 누적을 억제했고 그 결과 멀티턴 비용이 줄어드는 효과를 확인했다고 적었다. 롤링 요약 도입은 대화 기반 워크플로에서 비용 관리 수단이 되었다.

mem0는 대화 기록을 요약·관리하는 또 다른 솔루션으로 소개된 사례였다. 작성자는 mem0와 유사한 방식으로 직접 요약·트림 단계를 구현해 컨텍스트 크기를 제한했고 이 방법이 비용 절감에 기여했다고 보고했다. 요약과 만료 정책을 조합하면 토큰 성장률을 통제할 수 있다.