Claw Compactor: LLM 토큰 압축을 위한 14단계 퓨전 파이프라인

섹션별 상세

14단계 퓨전 파이프라인 아키텍처는 QuantumLock부터 Abbrev까지 독립적인 스테이지가 불변 데이터 흐름 방식으로 연결되어 작동한다. 각 스테이지는 이전 단계의 출력을 입력으로 받아 순차적으로 압축을 심화하며, should_apply() 메서드를 통해 데이터 유형에 맞는 스테이지 만이 실행된다. 이러한 구조는 각 압축 단계의 독립성을 보장하면서도 전체 파이프라인의 효율성을 극대화한다.

python

from scripts.lib.fusion.engine import FusionEngine
engine = FusionEngine()
result = engine.compress(
    text="def hello():
 # greeting function
 print('hello')",
    content_type="code",
    language="python",
)
print(result["compressed"])
print(result["stats"])

FusionEngine을 사용하여 텍스트를 압축하고 통계 및 마커 정보를 확인하는 기본 예시

python

from scripts.lib.fusion.base import FusionStage, FusionContext, FusionResult

class MyStage(FusionStage):
    name = "my_compressor"
    order = 22
    def should_apply(self, ctx: FusionContext) -> bool:
        return ctx.content_type == "log"
    def apply(self, ctx: FusionContext) -> FusionResult:
        compressed = my_compression_logic(ctx.content)
        return FusionResult(
            content=compressed,
            original_tokens=estimate_tokens(ctx.content),
            compressed_tokens=estimate_tokens(compressed),
        )

FusionStage를 상속받아 사용자 정의 압축 로직을 파이프라인에 추가하는 예시

Cortex 스테이지는 16개 이상의 프로그래밍 언어와 JSON, 로그, Diff 등 데이터 유형을 자동으로 감지한다. 이를 통해 하류 스테이지인 Neurosyntax(AST 기반 코드 압축)나 Ionizer(JSON 통계적 샘플링) 등이 데이터 특성에 맞춘 고효율 압축을 수행하도록 경로를 지정한다. 데이터 유형을 명시하지 않아도 시스템이 스스로 판단하여 최적의 압축 전략을 선택하는 것이 핵심이다.

가역적 압축 시스템은 압축된 데이터 섹션에 고유한 마커 ID를 부여하고 원본을 해시 기반 LRU 캐시인 RewindStore에 저장한다. LLM은 압축된 텍스트를 읽다가 상세 정보가 필요한 경우 특정 마커 ID를 사용하여 도구 호출 방식으로 원본 데이터를 즉시 복원할 수 있다. 이는 정보 손실에 민감한 작업에서도 압축 기술을 안전하게 사용할 수 있게 해준다.

python

engine = FusionEngine(enable_rewind=True)
result = engine.compress(large_json, content_type="json")
# LLM sees compressed output with markers like [rewind:abc123...]
# When the LLM needs the original, it calls the Rewind tool:
original = engine.rewind_store.retrieve("abc123def456...")

Rewind 기능을 활성화하여 압축된 데이터에서 원본 내용을 복원하는 예시

성능 벤치마크에서 Claw Compactor는 기존 정규표현식 기반 방식(9.2%)보다 약 6배 높은 평균 53.9%의 압축률을 기록했다. 특히 JSON 데이터는 최대 81.9%, 에이전트 대화 기록은 31.0%의 압축률을 보이며 LLMLingua-2 대비 높은 시맨틱 보존력을 입증했다. 실제 SWE-bench 인스턴스 테스트에서도 안정적인 성능 향상을 확인했다.

이 엔진은 별도의 LLM 추론 과정 없이 순수 Python 알고리즘으로 구현되어 추가적인 API 비용이나 지연 시간이 발생하지 않는다. tiktoken이나 tree-sitter 같은 외부 라이브러리는 선택 사항이며, 기본적으로 의존성 없는 휴리스틱 폴백 모드를 지원하여 가벼운 배포가 가능하다. 개발자는 단 몇 줄의 코드만으로 기존 워크플로우에 압축 기능을 통합할 수 있다.

용어 해설

추상 구문 트리(AST): — Abstract Syntax Tree (추상 구문 트리). 프로그래밍 언어의 소스 코드 구조를 트리 형태로 표현한 것으로, Claw Compactor는 이를 이용해 코드의 의미를 해치지 않고 압축한다. 코드의 논리적 구조를 유지하면서 불필요한 공백이나 주석을 제거하는 데 핵심적인 역할을 한다.
키-값 캐시(KV Cache): — Key-Value Cache. LLM 추론 시 이전 토큰들의 연산 결과를 저장해두는 공간으로, Claw Compactor의 QuantumLock 스테이지는 이 캐시의 히트율을 높이도록 설계되었다. 시스템 프롬프트의 동적 내용을 격리하여 캐시 재사용성을 극대화함으로써 추론 속도를 높이고 비용을 절감한다.
심해시(SimHash): — 심해시. 데이터의 유사도를 빠르게 계산하기 위한 해싱 기법으로, SemanticDedup 스테이지에서 중복된 콘텐츠 블록을 찾아내는 데 사용된다. 대규모 텍스트 뭉치에서 내용이 거의 유사한 부분을 식별하여 중복 토큰 소모를 방지하는 데 매우 효율적이다.
런-렝스 부호화(RLE): — Run-Length Encoding (런-렝스 부호화). 연속된 동일 데이터를 값과 개수로 표현하는 단순 압축 방식으로, 경로명이나 IP 주소 등 반복 패턴 압축에 활용된다. 복잡한 연산 없이도 특정 유형의 데이터에서 높은 압축 효율을 보여주며 파이프라인의 초기 단계에서 주로 사용된다.
토큰 압축(Token Compression): — 토큰 압축. LLM이 처리하는 최소 단위인 토큰의 수를 줄여 비용을 절감하고 더 많은 정보를 컨텍스트 윈도우에 담기 위한 기술이다. Claw Compactor는 14단계의 알고리즘을 통해 정보의 의미적 가치를 보존하면서도 물리적인 토큰 점유율을 획기적으로 낮춘다.

기술

Python
Tree-sitter
tiktoken
FusionEngine

활용 사례

RAG 컨텍스트 토큰 절감
긴 대화 히스토리 압축
대규모 코드베이스 분석 에이전트

언급된 리소스

GitHubClaw Compactor GitHub Repository

Claw Compactor: LLM 토큰 압축을 위한 14단계 퓨전 파이프라인

섹션별 상세

용어 해설

기술

활용 사례

언급된 리소스

관련 토론

댓글

관련 피드

관련 토론

댓글

관련 피드