반복되는 파일 읽기로 인한 토큰 낭비를 줄여주는 Rust 기반 압축 도구 sqz

실용적 조언

cargo나 npm을 통해 sqz-cli를 설치하고 sqz gain 명령어로 일일 절감 수치를 시각적으로 확인할 수 있다.
JSON 응답이 많은 환경에서는 null 제거 기능을 활성화하여 추가적인 토큰 이득을 얻을 수 있다.

섹션별 상세

반복되는 파일 읽기에서 발생하는 토큰 낭비를 SHA-256 기반 콘텐츠 캐시로 해결했다. 동일한 파일을 다시 읽을 때 전체 내용 대신 13토큰 분량의 인라인 참조값만 반환하며, 이를 통해 반복 읽기 시 약 86%의 토큰 절감 효과를 얻었다. LLM은 이 참조를 통해 이전 문맥의 내용을 이해할 수 있어 정보 손실 없이 비용만 줄어든다.

bash

cargo install sqz-cli
sqz init
sqz gain # ASCII chart of daily token savings
sqz stats # cumulative compression report

sqz 도구의 설치 및 기본 사용법 예시

데이터 유형에 따른 선택적 압축 전략을 적용하여 LLM의 응답 품질을 유지했다. JSON API 응답에서 null 값을 제거하거나 TOON 인코딩을 사용하여 7-56%를 절감하고, 대규모 배열은 샘플링 후 축소하여 77%를 절감했다. 반면 오류 해결에 필수적인 스택 트레이스(Stack traces)는 압축 대상에서 제외하여 모델이 정확한 진단을 내릴 수 있도록 설계했다.

Rust 언어로 구현되어 성능과 안정성을 확보했으며 다양한 환경을 지원한다. Node.js 기반이 아닌 컴파일된 Rust MCP 서버를 제공하며, 브라우저 확장 프로그램(ChatGPT, Claude 등 지원)과 IDE 플러그인(VS Code, JetBrains)을 통해 실무 워크플로우에 통합된다. 920개 이상의 테스트와 57개의 속성 기반 정확성 증명을 통해 압축 과정의 신뢰성을 검증했다.

용어 해설

SHA-256 해시(SHA-256): — 데이터의 고유한 지문을 생성하는 암호화 해시 함수이다. sqz는 파일 내용의 변경 여부를 감지하고 동일한 내용이 반복될 경우 캐시된 참조값으로 대체하여 토큰을 절약하는 데 사용한다.
모델 컨텍스트 프로토콜 서버(MCP Server): — AI 모델이 외부 도구나 데이터에 접근할 수 있도록 하는 표준 인터페이스이다. sqz는 Rust로 구현된 MCP 서버를 통해 LLM이 효율적으로 압축된 파일 시스템에 접근할 수 있도록 지원한다.
토큰 압축(Token Compression): — LLM 입력에 사용되는 텍스트 데이터의 양을 줄여 비용을 절감하고 컨텍스트 윈도우 효율을 높이는 기술이다. sqz는 중복 제거와 특정 인코딩 방식을 통해 정보 손실을 최소화하며 토큰 수를 줄인다.

언급된 도구

sqz추천링크

LLM 토큰 압축 및 중복 제거 도구

언급된 리소스

GitHubsqz GitHub Repository

문서sqz Documentation