Python-Token-Killer: LLM 에이전트의 토큰 비용을 최대 89% 절감하는 도구

실용적 조언

LangGraph 사용 시 도구 실행 노드와 LLM 노드 사이에 ptk를 적용하는 미들웨어 함수를 추가하세요.
로그 분석 작업 시 전체 로그를 넣기 전 ptk를 거치면 비용을 80% 이상 줄일 수 있습니다.

섹션별 상세

LLM 에이전트가 도구를 실행한 후 반환하는 JSON 데이터에 포함된 null 값이나 빈 배열이 토큰 낭비의 주범임을 지적했다. ptk 라이브러리는 입력 데이터를 스캔하여 모델 추론에 불필요한 보일러플레이트 메타데이터를 제거하는 방식으로 작동한다. 실제 테스트 결과 일반적인 API 응답 JSON에서 정보 손실 없이 약 45%의 토큰 절감 효과를 거두었다. 이는 컨텍스트 윈도우를 더 효율적으로 사용하게 하여 긴 대화 유지에 기여한다.

python

import ptk
ptk(tool_output) # 45% fewer tokens, zero information lost

ptk 라이브러리를 사용하여 도구 출력 데이터의 토큰을 압축하는 기본 예시

LangGraph나 LangChain과 같은 에이전트 프레임워크의 노드 사이에 압축 단계를 삽입하는 워크플로우를 제시했다. 도구 호출 결과가 다음 LLM 노드로 전달되기 직전에 ptk.minimize를 호출하여 상태 메시지를 정제하는 구조이다. aggressive 옵션을 활성화하면 더 강력한 압축 알고리즘이 적용되어 토큰 효율을 극대화할 수 있다. 에이전트가 복잡한 API를 여러 번 호출할수록 누적되는 비용 절감 효과가 커지는 구조이다.

python

def compress_tool_output(state: dict) -> dict:
    state["messages"][-1]["content"] = ptk.minimize(
        state["messages"][-1]["content"], aggressive=True
    )
    return state

LangGraph 에이전트 루프 내에서 도구 출력 메시지를 압축하는 구현 방식

다양한 데이터 유형에 대한 벤치마크 수치를 통해 실질적인 성능 향상을 입증했다. Python 모듈의 시그니처 추출 시 89%, CI 로그의 에러 트리아지 시 83%의 토큰이 절감되는 결과를 보였다. 전체 11k 토큰 워크로드 기준 평균 76%의 절감률을 기록했으며, 이는 Claude 3.5 Sonnet 가격 기준으로 사용자당 월 약 8달러의 비용 절감이 가능함을 의미한다. 외부 의존성이 전혀 없는 제로 디펜던시 설계로 기존 프로젝트에 즉시 도입이 가능하다.

용어 해설

토큰 최적화(Token Optimization): — LLM 입력에 포함되는 불필요한 데이터를 제거하여 비용을 절감하고 컨텍스트 윈도우 효율을 높이는 기법이다. null 값, 빈 배열, 중복된 메타데이터 등을 제거함으로써 모델의 추론 성능에 영향을 주지 않으면서도 입력 크기를 줄이는 것이 핵심이다.
에이전트 루프(Agent Loop): — AI 에이전트가 목표 달성을 위해 계획 수립, 도구 실행, 결과 관찰을 반복하는 순환 프로세스이다. 각 단계에서 발생하는 도구 출력이나 로그가 다음 추론의 입력으로 사용되므로, 이 과정에서의 데이터 정제가 전체 시스템의 효율성을 결정한다.
제로 디펜던시(Zero Dependency): — 외부 라이브러리나 패키지에 의존하지 않고 독립적으로 실행 가능한 소프트웨어 설계 방식이다. 설치가 간편하고 보안 취약점 노출이 적으며, 가벼운 런타임 환경을 유지해야 하는 AI 파이프라인이나 서버리스 환경에서 특히 선호된다.

언급된 도구

python-token-killer추천링크

Python 객체 및 로그 데이터의 토큰 압축

RTK (Rust Token Killer)추천

CLI 출력 토큰 압축

언급된 리소스

GitHubpython-token-killer GitHub Repository