TL;DR

9Router는 로컬에서 OpenAI 호환 엔드포인트를 제공하는 프록시 겸 AI 게이트웨이로, 다양한 코드 보조 CLI를 단일 엔드포인트로 통합하고 요청 전처리로 토큰 사용을 줄인다. RTK Token Saver가 툴 출력에 대해 자동 필터링과 무손실 압축을 수행해 요청당 입력 토큰을 20~40% 절감하고, Caveman/Ponytail 같은 프롬프트 인젝션으로 출력 토큰을 추가로 줄일 수 있다. 사용자는 콤보를 정의해 구독→저가→무료의 3단계 자동 페일오버를 구성할 수 있으며 다중 계정 라운드로빈, 실시간 쿼터 추적, 형식 변환을 통해 중단 없는 코딩 환경을 유지한다. 설치는 npm 글로벌 설치 또는 Docker 실행으로 빠르게 시작할 수 있고 README에 다수의 지역별 튜토리얼과 상세 설정 예시가 제공돼 즉시 운영 환경에 적용할 수 있다.

핵심 포인트

• RTK를 레이어로 통합해 툴 출력에서 불필요한 토큰을 사전 압축하는 점이 핵심 차별화 요소이다. RTK는 자동 필터 선택과 실패 시 원본 보존 정책을 적용해 안전하게 토큰을 절감하며 대시보드에서 기본 활성화로 제공된다. 이 접근은 단순 라우팅만 제공하는 프록시와 달리 요청 단위 비용 최적화를 서버 측에서 수행한다.
• 무료 및 자동 모델 페치 기능(OpenCode Free, Kiro 등)과의 통합으로 비용 제로 콤보를 구성할 수 있게 만든 점이 다른 솔루션과 구별된다. 레포지토리는 40개 이상의 공급자와 100개 이상의 모델을 목록화해 구독 기반 모델 없이도 연속적인 서비스가 가능하도록 설계됐다. 이로 인해 단일 유료 계정에 의존하지 않고도 무중단 운영이 가능하다.
• 다양한 CLI·IDE와의 호환성을 우선해 OpenAI 호환 엔드포인트를 제공하고 내부에서 포맷 번역을 수행함으로써 클라이언트 변경 없이 바로 사용할 수 있게 설계됐다. 다중 계정 라운드로빈과 우선순위 기반 라우팅을 지원해 운영상 신뢰성과 확장성을 확보했다. 또한 Docker, VPS, Cloudflare Workers 등 다양한 배포 옵션을 공식으로 문서화해 배포 유연성을 높였다.
• RTK Token Saver가 툴 출력(tool_result)을 자동으로 인식해 git-diff, grep, ls 같은 필터를 적용하고 손실 없이 압축해 입력 토큰을 절감한다. 이 과정은 요청 본문 첫 1KB를 검사해 적합한 필터를 선택하며 필터 실패 시 원본 텍스트를 보존해 요청을 안전하게 처리한다. 기본으로 켜져 있으며 대시보드에서 토글해 즉시 비활성화할 수 있다.

벤치마크

이미지 분석