LLM 에이전트 비용 추적 및 예산 강제 도구 LedgerAI 소개

커뮤니티 반응

작성자의 프로젝트 공유에 대해 긍정적인 반응을 보이며, 프로덕션 환경에서의 비용 통제 필요성에 공감하고 있다.

다중 에이전트 환경에서 에이전트가 통제 불능 상태가 되어 발생하는 비용 문제를 해결하기 위해 LedgerAI가 개발됐다. 이 도구는 LLM 호출 전 예산 확인 엔드포인트를 호출하여, 일일 또는 월간 한도를 초과할 경우 호출을 즉시 차단하는 하드 스톱 방식을 사용한다.

기존 비용 추적 도구들이 호출 후 비용을 기록하는 것과 달리, 이 시스템은 사전 검증을 통해 예산 초과를 원천 차단한다. 에이전트 이름, 모델, 제공자별로 토큰 사용량과 USD 비용을 추적하며, Anthropic과 OpenAI 모델을 지원한다.

현재 오픈 소스로 제공되며 파이썬 SDK나 cURL을 통해 직접 API를 호출할 수 있다. 사용자는 대시보드를 통해 활성 에이전트의 월간 예산과 현재 비용을 시각화하고 관리할 수 있다.

LedgerAI추천링크

LLM 에이전트 비용 추적 및 예산 강제

Anthropic중립

LLM 제공자

OpenAI중립

LLM 제공자