ojuschugh1/sqz — 반복 컨텐츠를 안전하게 압축해 LLM 토큰을 절감하는 도구

LLM 컨텍스트에서 반복되는 파일·로그·JSON 전송이 토큰 낭비를 유발한다는 문제를 해결하기 위해 sqz는 SHA-256 기반 콘텐츠 캐시와 유형별 안전 압축 규칙을 도입해 최초 전송 후 동일 콘텐츠를 13토큰 인라인 참조로 대체하는 방식을 사용한다. JSON 응답의 null 제거와 TOON 인코딩, 로그 중복 병합, 배열 샘플링 등 데이터 구조별 처리를 통해 특정 시나리오에서 7~77% 범위의 토큰 절감이 보고되었으며 반복 파일 읽기(5회)는 86% 절감을 기록했다. 구현은 단일 Rust 바이너리 기반으로 셸 훅·브라우저 확장·IDE 플러그인으로 배포되며 설치 명령과 CLI 통계 명령으로 절감량을 추적할 수 있다. 설계 철학은 오류·디버그 컨텍스트는 보존하고 안전하게 압축 가능한 부분만 축소해 토큰 비용 절감과 응답 품질을 동시에 확보하는 데 있다.