tokf: CLI 출력을 90% 압축하여 AI 에이전트의 토큰 비용을 절감하는 도구

섹션별 상세

tokf는 CLI 명령과 LLM 사이에서 프록시 역할을 수행하며 진행 표시줄이나 반복적인 컴파일 로그 같은 노이즈를 제거한다. cargo test의 수십 줄 출력을 단 한 줄의 요약으로 압축하여 AI가 핵심 결과에만 집중하게 함으로써 컨텍스트 윈도우 효율을 극대화한다.

bash

tokf run git push origin main
tokf run cargo test
tokf run docker build .

tokf를 사용하여 CLI 명령의 출력을 필터링하여 실행하는 기본 예시

사용자는 TOML 파일을 통해 필터 규칙을 정의하며 skip(제외), keep(유지), replace(치환) 기능을 지원한다. sections와 chunks 설정을 통해 구조화된 데이터 추출이 가능하며, 이는 단순한 텍스트 제거를 넘어 의미 있는 정보만 선별하여 전달하는 역할을 한다.

toml

command = "git push"
skip = ["^Enumerating", "^Counting"]
[on_success]
output = "ok ✓"

특정 패턴의 라인을 제외하고 성공 시 요약 메시지만 출력하도록 설정하는 TOML 필터 예시

단순 패턴 매칭으로 부족한 경우 Luau 스크립트를 내장하여 복잡한 논리를 처리한다. 샌드박스 환경에서 실행되는 스크립트는 종료 코드나 출력 내용에 따른 조건부 분기 처리를 가능하게 하며, JSON 출력을 지원하는 도구의 경우 JSONPath를 이용해 필요한 필드만 정밀하게 추출한다.

tokf hook install 명령을 통해 Claude Code, Gemini CLI, Cursor, Windsurf 등 다양한 AI 코딩 도구에 자동으로 필터를 적용한다. 사용자가 명령어를 수정할 필요 없이 백그라운드에서 투명하게 작동하며, AI 에이전트에게 필터링된 출력의 원본을 확인하는 방법도 함께 안내한다.

bash

# Claude Code 통합 설치
tokf hook install --global
# Cursor 통합 설치
tokf hook install --tool cursor --global

주요 AI 코딩 에이전트 도구에 tokf 필터를 자동으로 적용하기 위한 훅 설치 명령

tokf gain 명령으로 절감된 토큰 수와 비율을 실시간으로 추적하고 관리한다. 로컬 SQLite 데이터베이스에 기록된 이력을 바탕으로 일별 또는 필터별 절감 수치를 확인하며, 원격 동기화 기능을 통해 여러 기기에서의 총 절감량을 통합 관리할 수 있다.

용어 해설

토큰(Token): — LLM이 텍스트를 처리하는 최소 단위로, 단어나 문장 성분으로 구성된다. 컨텍스트 윈도우의 제한된 용량을 차지하며 API 비용 산정의 기준이 된다.
컨텍스트 윈도우(Context Window): — LLM이 한 번의 추론 과정에서 기억하고 처리할 수 있는 최대 정보량이다. 이 범위를 초과하는 데이터는 모델이 인식하지 못하며, 불필요한 정보가 많을수록 성능이 저하된다.
톰엘(TOML): — Tom's Obvious, Minimal Language의 약자로, 사람이 읽기 쉽도록 설계된 설정 파일 형식이다. 키-값 쌍과 테이블 구조를 사용하여 복잡한 필터링 규칙을 명확하게 정의한다.
제이슨패스(JSONPath): — JSON 데이터 구조 내에서 특정 요소나 배열을 추출하기 위한 쿼리 언어이다. 복잡한 JSON 출력 결과에서 필요한 필드만 정밀하게 선택하여 토큰 소비를 줄이는 데 사용된다.
루아우(Luau): — Lua를 기반으로 성능과 안정성을 개선한 스크립트 언어이다. TOML만으로 표현하기 어려운 복잡한 조건부 로직이나 수학적 계산을 필터 내에서 실행하기 위해 사용된다.

기술

Rust
Luau
TOML
Claude Code
Cursor
JSONPath

활용 사례

AI 에이전트의 테스트 실행 결과 요약
Docker 빌드 로그 압축
Git 상태 및 변경 사항 요약 전달
대규모 JSON API 응답 필터링

언급된 리소스

GitHubtokf GitHub Repository

문서tokf Community Registry

섹션별 상세

bash

tokf run git push origin main
tokf run cargo test
tokf run docker build .

tokf를 사용하여 CLI 명령의 출력을 필터링하여 실행하는 기본 예시

toml

command = "git push"
skip = ["^Enumerating", "^Counting"]
[on_success]
output = "ok ✓"

특정 패턴의 라인을 제외하고 성공 시 요약 메시지만 출력하도록 설정하는 TOML 필터 예시

bash

# Claude Code 통합 설치
tokf hook install --global
# Cursor 통합 설치
tokf hook install --tool cursor --global

주요 AI 코딩 에이전트 도구에 tokf 필터를 자동으로 적용하기 위한 훅 설치 명령

용어 해설

토큰(Token): — LLM이 텍스트를 처리하는 최소 단위로, 단어나 문장 성분으로 구성된다. 컨텍스트 윈도우의 제한된 용량을 차지하며 API 비용 산정의 기준이 된다.
컨텍스트 윈도우(Context Window): — LLM이 한 번의 추론 과정에서 기억하고 처리할 수 있는 최대 정보량이다. 이 범위를 초과하는 데이터는 모델이 인식하지 못하며, 불필요한 정보가 많을수록 성능이 저하된다.
톰엘(TOML): — Tom's Obvious, Minimal Language의 약자로, 사람이 읽기 쉽도록 설계된 설정 파일 형식이다. 키-값 쌍과 테이블 구조를 사용하여 복잡한 필터링 규칙을 명확하게 정의한다.
제이슨패스(JSONPath): — JSON 데이터 구조 내에서 특정 요소나 배열을 추출하기 위한 쿼리 언어이다. 복잡한 JSON 출력 결과에서 필요한 필드만 정밀하게 선택하여 토큰 소비를 줄이는 데 사용된다.
루아우(Luau): — Lua를 기반으로 성능과 안정성을 개선한 스크립트 언어이다. TOML만으로 표현하기 어려운 복잡한 조건부 로직이나 수학적 계산을 필터 내에서 실행하기 위해 사용된다.

기술

Rust
Luau
TOML
Claude Code
Cursor
JSONPath

활용 사례

AI 에이전트의 테스트 실행 결과 요약
Docker 빌드 로그 압축
Git 상태 및 변경 사항 요약 전달
대규모 JSON API 응답 필터링

언급된 리소스

GitHubtokf GitHub Repository

문서tokf Community Registry

tokf: CLI 출력을 90% 압축하여 AI 에이전트의 토큰 비용을 절감하는 도구

섹션별 상세

용어 해설

기술

활용 사례

언급된 리소스

tokf: CLI 출력을 90% 압축하여 AI 에이전트의 토큰 비용을 절감하는 도구

섹션별 상세

용어 해설

기술

활용 사례

언급된 리소스

관련 토론

댓글

관련 피드

관련 토론

댓글

관련 피드