tokentoll: 코드 리뷰 단계에서 LLM 비용 변화를 감지하는 정적 분석 도구

섹션별 상세

코드 내 LLM API 호출을 정적으로 분석하여 잠재적 비용을 추정합니다. AST Scanner를 통해 Python 파일을 파싱하고 OpenAI, Anthropic, LangChain 등 다양한 SDK 패턴을 탐지하여 호출 위치와 사용 모델을 식별합니다.

상수 전파(Constant Propagation) 엔진을 통해 변수에 담긴 모델명을 추적합니다. 단순 문자열 리터럴뿐만 아니라 os.getenv(), 클래스 속성, 생성자 인자, **kwargs 언패킹 등 복잡한 변수 할당 구조에서도 실제 사용될 모델명을 찾아냅니다.

2,200개 이상의 모델 가격 정보를 담은 엔진을 내장하고 있습니다. LiteLLM의 데이터를 기반으로 한 로컬 캐시를 사용하여 별도의 API 호출 없이도 오프라인에서 즉시 비용을 계산하고 리포트를 생성합니다.

근거

Git 기반의 비용 차이 분석(Diff) 기능을 제공합니다. 특정 커밋이나 브랜치 간의 차이를 분석하여 모델 변경(예: gpt-4o-mini에서 gpt-4o로 변경) 시 발생하는 비용 증감 수치를 터미널이나 GitHub PR 댓글로 출력합니다.

근거