TL;DR

대용량 시스템 프롬프트와 도구 문서, 오래된 대화 기록이 모델 입력 토큰을 빠르게 소모하는 문제를 해결하기 위해 pxpipe는 밀집 텍스트 블록을 PNG 페이지로 렌더링해 요청 입력을 이미지 토큰으로 교체하는 로컬 프록시이다. 프록시는 /v1/messages를 가로채 eligible한 블록을 1928 픽셀 너비 레이아웃에 패킹해 PNG로 변환하고 각 요청에 대해 원본 대비 청구를 동시 기록해 재현 가능한 절감량을 산출한다. README 기준으로 일부 워크로드에서 엔드 투 엔드 청구가 약 59에서 70 퍼센트 낮아졌고 예제 벤치에서는 요청당 토큰이 약 38 퍼센트 줄어들었지만 이미지화는 바이트 완전성을 보장하지 않아 SHA나 고정 식별자는 텍스트로 남겨야 한다. 운영자는 모델별 옵트인과 수익성 게이트로 이미지화를 제한해 읽기 실패율과 비용 절감 사이의 트레이드오프를 조정할 수 있다.

핵심 포인트

• 엔드 투 엔드 청구 기준으로 절감량을 측정해 입력 절감만을 따로 떼어내지 않고 전체 요청 청구를 분모로 사용한다. 각 요청에 대해 원본과 변환된 바디를 병렬로 카운팅하고 청구 블록을 동일한 이벤트 행에 기록해 재현 가능한 계산을 보장한다. 이 방식은 다른 툴들이 종종 입력만 따로 측정해 과대평가하는 문제를 회피한다.
• 요청 단위 수익성 게이트와 모델 허용 목록을 결합해 손실 위험과 비용 절감의 균형을 맞춘다. 문자 밀도가 낮을 때는 텍스트 통과를 유지하고 밀도가 높을 때만 이미지화를 적용해 잘못된 복원이 발생할 확률을 줄인다. 모델별 옵트인은 실측된 읽기 실패율을 근거로 하고 있어 무작정 모든 요청을 이미지화하지 않는다.
• 라이브러리 모드와 프록시 모드를 모두 제공해 통합 유연성을 확보하고 개발 워크플로에 맞게 적용 범위를 조정할 수 있다. renderTextToImages와 transformAnthropicMessages API는 노드 및 에지 워커에서 직접 호출 가능하도록 설계되어 있다. 이중 운영은 프록시가 부적합한 환경에서도 동일한 변환을 적용할 수 있게 한다.
• 대형 요청 본문 중 밀도가 높은 블록을 자동으로 PNG 페이지로 렌더링해 텍스트 토큰을 이미지 토큰으로 교체한다. 렌더링은 고정 폭 컬럼과 줄바꿈 표식을 포함해 모델이 읽을 수 있는 레이아웃을 만든 뒤 정적 접두사를 보존한 채 스플라이스한다. 변환 결과와 절감량은 이벤트 로그에 기록되고 대시보드에서 실시간으로 모니터링된다.

벤치마크

이미지 분석