무료·저비용 모델로 자동 라우팅하는 로컬 AI 게이트웨이
로컬 OpenAI 호환 프록시로 RTK 입력 압축과 3단계 페일오버를 통해 무료·저렴한 모델로 자동 라우팅하며 요청당 토큰을 20~40% 절감한다.
TL;DR
9Router는 로컬에서 OpenAI 호환 엔드포인트를 제공하는 프록시 겸 AI 게이트웨이로, 다양한 코드 보조 CLI를 단일 엔드포인트로 통합하고 요청 전처리로 토큰 사용을 줄인다. RTK Token Saver가 툴 출력에 대해 자동 필터링과 무손실 압축을 수행해 요청당 입력 토큰을 20~40% 절감하고, Caveman/Ponytail 같은 프롬프트 인젝션으로 출력 토큰을 추가로 줄일 수 있다. 사용자는 콤보를 정의해 구독→저가→무료의 3단계 자동 페일오버를 구성할 수 있으며 다중 계정 라운드로빈, 실시간 쿼터 추적, 형식 변환을 통해 중단 없는 코딩 환경을 유지한다. 설치는 npm 글로벌 설치 또는 Docker 실행으로 빠르게 시작할 수 있고 README에 다수의 지역별 튜토리얼과 상세 설정 예시가 제공돼 즉시 운영 환경에 적용할 수 있다.
주요 기능
- RTK Token Saver가 툴 출력(tool_result)을 자동으로 인식해 git-diff, grep, ls 같은 필터를 적용하고 손실 없이 압축해 입력 토큰을 절감한다. 이 과정은 요청 본문 첫 1KB를 검사해 적합한 필터를 선택하며 필터 실패 시 원본 텍스트를 보존해 요청을 안전하게 처리한다. 기본으로 켜져 있으며 대시보드에서 토글해 즉시 비활성화할 수 있다.
- 스마트 3단계 폴백을 구성해 구독(Subscription) → 저가(Cheap) → 무료(Free)의 순으로 자동 전환하며 쿼터 소진이나 오류 발생 시 즉시 대체 모델로 라우팅한다. 콤보(combos)를 통해 우선순위를 정의하고 다중 계정 라운드로빈으로 트래픽을 분산해 가용성을 확보한다. 이 메커니즘은 코딩 중단을 방지해 연속적인 워크플로를 유지한다.
- 형식 변환으로 OpenAI 호환 요청을 Claude, Gemini, Cursor, Kiro 등 각 공급자 네이티브 포맷으로 자동 변환해 기존 클라이언트를 변경할 필요를 없앤다. 클라이언트는 단일 OpenAI 스타일 엔드포인트(http://localhost:20128/v1)를 사용하면 되고 9Router가 내부에서 변환과 라우팅을 수행한다. 이 방식은 다양한 CLI·IDE 툴을 동일한 로컬 프록시로 통합하는 핵심 기능이다.
- 실시간 쿼터 추적과 사용량 분석을 제공해 각 공급자 및 모델별 토큰 사용량과 리셋 카운트다운을 표시한다. 대시보드는 추정 비용과 절감액을 시각화해 무료·저가 모델 사용의 절감 효과를 정량적으로 확인하게 한다. 클라우드 동기화 기능으로 설정과 콤보를 여러 디바이스에서 일관되게 유지할 수 있다.
어떻게 동작하는가
9Router는 로컬에서 OpenAI 호환 엔드포인트를 제공하는 프록시 겸 라우터로 동작해 클라이언트가 /v1 경로로 보낸 요청을 내부에서 전처리하고 공급자별 네이티브 형식으로 변환해 전달한다. 전처리 단계에서 RTK가 툴 출력을 감지해 필터를 적용해 입력 토큰을 20~40% 절감하며 필요 시 Headroom 프록시를 호출해 추가 압축을 수행한다. 라우팅 계층은 사용자가 정의한 콤보와 계정 상태, 쿼터를 실시간으로 검사해 구독→저가→무료 순으로 자동 페일오버를 실행한다.
해결 문제
다수의 코드 보조 CLI와 모델을 수동으로 전환해야 하는 문제를 해결해 단일 로컬 엔드포인트로 모든 도구를 통합한다. 요청당 불필요한 토큰 소모로 인한 비용과 쿼터 소진 문제를 RTK 압축과 실시간 쿼터 추적으로 완화한다. 또한 구독 한도나 레이트 리밋으로 인한 작업 중단을 자동 폴백으로 방지해 연속적인 코딩 흐름을 유지한다.
지금 주목받는 이유
무료 무제한 모델과 RTK 토큰 절감 조합으로 실사용 비용을 크게 낮추는 실용성이 부각되며 다수의 튜토리얼과 높은 GitHub 스타 수가 확산을 촉진했다.
차별점
- RTK를 레이어로 통합해 툴 출력에서 불필요한 토큰을 사전 압축하는 점이 핵심 차별화 요소이다. RTK는 자동 필터 선택과 실패 시 원본 보존 정책을 적용해 안전하게 토큰을 절감하며 대시보드에서 기본 활성화로 제공된다. 이 접근은 단순 라우팅만 제공하는 프록시와 달리 요청 단위 비용 최적화를 서버 측에서 수행한다.
- 무료 및 자동 모델 페치 기능(OpenCode Free, Kiro 등)과의 통합으로 비용 제로 콤보를 구성할 수 있게 만든 점이 다른 솔루션과 구별된다. 레포지토리는 40개 이상의 공급자와 100개 이상의 모델을 목록화해 구독 기반 모델 없이도 연속적인 서비스가 가능하도록 설계됐다. 이로 인해 단일 유료 계정에 의존하지 않고도 무중단 운영이 가능하다.
- 다양한 CLI·IDE와의 호환성을 우선해 OpenAI 호환 엔드포인트를 제공하고 내부에서 포맷 번역을 수행함으로써 클라이언트 변경 없이 바로 사용할 수 있게 설계됐다. 다중 계정 라운드로빈과 우선순위 기반 라우팅을 지원해 운영상 신뢰성과 확장성을 확보했다. 또한 Docker, VPS, Cloudflare Workers 등 다양한 배포 옵션을 공식으로 문서화해 배포 유연성을 높였다.
사용 사례
- 구독형 모델을 최대한 활용하면서 쿼터를 모두 소진하도록 자동화하는 시나리오에서 9Router는 구독을 우선으로 두고 저가·무료 모델로 페일오버해 잔여 쿼터를 낭비하지 않도록 설계됐다. 이 과정에서 실시간 쿼터 트래킹이 작동해 사용량과 리셋 타이밍을 고려한 라우팅 결정을 내린다. 결과적으로 구독 비용 대비 활용도를 극대화하는 데 기여한다.
- 완전한 제로 코스트 운영을 원하는 사용자는 Kiro, OpenCode Free 같은 무료 공급자와 RTK를 조합해 월별 비용을 0으로 유지할 수 있다. README에서 제시한 무료 콤보는 인증 절차가 없거나 OAuth로 간단히 연결되는 공급자를 중심으로 구성돼 즉시 사용이 가능하다. 이 방식은 개인 개발자나 비용 민감한 프로젝트에서 지속적인 코딩 지원을 제공한다.
- 항상 가동이 필요한 작업 환경에서는 다층 폴백을 구성해 구독·저가·무료 모델을 순차적으로 연결함으로써 서비스 중단을 방지한다. 콤보에 다수의 계정을 추가하면 특정 계정의 레이트 리밋이나 쿼터 소진 시 자동으로 대체 계정으로 전환된다. 이 사용법은 마감이 촉박한 개발 스프린트나 자동화된 CI 파이프라인에서 유용하다.
- 메시징 기반 AI 어시스턴트(예: OpenClaw, WhatsApp, Telegram 등)에 무료 모델을 적용해 비용 부담 없이 24/7 챗봇을 운영하는 시나리오에 적합하다. OpenClaw와의 예시 통합 문서가 포함되어 있어 로컬 9Router를 통해 메시징 에이전트가 무료 모델을 사용하도록 설정할 수 있다. 이 접근은 비용 제약이 큰 채널 통합 프로젝트에서 효율적이다.
시작하기
전역 설치는 npm install -g 9router 후 9router 명령으로 대시보드를 열어 곧바로 시작할 수 있다. 소스에서 실행하려면 .env.example을 복사해 환경변수를 설정한 뒤 npm install 및 PORT=20128 NEXT_PUBLIC_BASE_URL=http://localhost:20128 npm run dev로 개발 서버를 실행하거나 npm run build 후 npm run start로 프로덕션 모드로 구동한다. Docker 이미지를 제공해 docker run 명령으로 컨테이너화된 실행 환경을 빠르게 배포할 수 있으며 기본 대시보드는 http://localhost:20128에서 접근한다.
요구사항
- 런타임은 Node.js 20 이상을 요구하며 프레임워크는 Next.js 16으로 문서에 명시돼 있다.
- 데이터는 SQLite를 사용하며 기본 데이터 디렉터리와 환경변수(DATA_DIR, PORT, HOSTNAME 등)를 설정해야 한다.
- 컨테이너 실행을 위한 Docker 환경 또는 VPS 배포를 권장하며 OAuth 연동이나 클라우드 동기화를 위해 공개 URL과 적절한 시크릿 변수 설정이 필요하다.
벤치마크
| 벤치마크 | 지표 | 값 | 비교 |
|---|---|---|---|
| RTK Token Saver | token savings | 20-40% | — |
| Caveman Mode (output terseness) | output token reduction | up to 65% | — |
이미지 분석



21.9k
Stars
3.7k
Forks
+207
Trending
36
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.