tokentoll: 코드 리뷰 단계에서 LLM 비용 변화를 감지하는 정적 분석 도구

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

tokentoll은 LLM API 호출로 인한 비용 변화를 코드 배포 전 단계에서 파악하기 위한 CLI 도구 및 GitHub Action입니다. Python 소스 코드를 AST(추상 구문 트리)로 분석하여 OpenAI, Anthropic, Google 등 주요 SDK의 API 호출을 탐지하고 모델명과 토큰 사용량을 추정합니다. 2,200개 이상의 모델 가격 데이터를 내장하고 있어 오프라인에서도 비용 계산이 가능하며, 브랜치 간 비교를 통해 비용 증감 폭을 명확히 보여줍니다. 이를 통해 개발자는 모델 변경이나 API 호출 추가가 전체 운영 비용에 미치는 영향을 사전에 인지하고 관리할 수 있습니다.

배경

Python 3.x, pip (패키지 관리자), 기본적인 GitHub Actions 사용법 (CI 통합 시)

대상 독자

LLM 애플리케이션을 개발하고 운영 비용 최적화가 필요한 Python 개발자 및 MLOps 엔지니어

의미 / 영향

이 도구는 인프라 비용 관리 도구인 Infracost와 유사한 역할을 LLM 영역에서 수행합니다. 개발자가 코드를 작성하는 시점에 비용 영향을 즉시 피드백 받음으로써, 무분별한 고성능 모델 사용을 억제하고 효율적인 모델 선택을 유도하는 문화 형성에 기여할 것입니다.

섹션별 상세

코드 내 LLM API 호출을 정적으로 분석하여 잠재적 비용을 추정합니다. AST Scanner를 통해 Python 파일을 파싱하고 OpenAI, Anthropic, LangChain 등 다양한 SDK 패턴을 탐지하여 호출 위치와 사용 모델을 식별합니다.

상수 전파(Constant Propagation) 엔진을 통해 변수에 담긴 모델명을 추적합니다. 단순 문자열 리터럴뿐만 아니라 os.getenv(), 클래스 속성, 생성자 인자, **kwargs 언패킹 등 복잡한 변수 할당 구조에서도 실제 사용될 모델명을 찾아냅니다.

2,200개 이상의 모델 가격 정보를 담은 엔진을 내장하고 있습니다. LiteLLM의 데이터를 기반으로 한 로컬 캐시를 사용하여 별도의 API 호출 없이도 오프라인에서 즉시 비용을 계산하고 리포트를 생성합니다.

Git 기반의 비용 차이 분석(Diff) 기능을 제공합니다. 특정 커밋이나 브랜치 간의 차이를 분석하여 모델 변경(예: gpt-4o-mini에서 gpt-4o로 변경) 시 발생하는 비용 증감 수치를 터미널이나 GitHub PR 댓글로 출력합니다.

tokentoll CLI 실행 데모 애니메이션 — ScreenshotCLI에서 'tokentoll scan'과 'tokentoll diff' 명령어를 실행했을 때 탐지된 모델명, 호출 위치, 예상 비용 및 변경된 비용 차이가 표 형식으로 출력되는 과정을 보여줍니다.

실무 Takeaway

모델 스왑이나 API 호출 추가로 인한 급격한 비용 상승을 방지하기 위해 CI/CD 파이프라인에 tokentoll GitHub Action을 통합하여 자동 감시 체계를 구축할 수 있습니다.
tiktoken 라이브러리를 추가 설치하면 단순 글자 수 기반 추정보다 정확한 모델별 인코딩 기반 토큰 계산 및 비용 추정이 가능해집니다.
.tokentoll.yml 설정 파일을 프로젝트 루트에 생성하여 경로별 호출 빈도나 기본 모델 설정을 커스터마이징함으로써 팀의 실제 사용 패턴에 맞는 리포트를 얻을 수 있습니다.

언급된 리소스

GitHubtokentoll GitHub Repository

문서tokentoll Marketplace Action