단일 OpenAI 호환 엔드포인트로 237개 LLM 공급자를 라우팅하는 오픈소스 프로젝트 공개

프로젝트는 빠르게 성장하여 수천의 스타와 수백 기여자를 확보한 상태로 기술적 관심과 실사용 검증 신호를 동시에 획득했다. 작성자는 무료 티어 산정 방식의 자세한 수치와 방법론을 리포지토리에 공개했다고 밝혀 투명성을 확보했으며 README에서 상위 업스트림 프로젝트에 대한 저작권·기여 표기를 명시했다. 게시물 말미에 작성자는 라우팅 엔진·무료 티어 계산법·압축 파이프라인의 세부 동작에 대해 추가 기술적 논의를 제안해 관심 있는 독자가 심화 질문을 할 수 있는 접점을 남겼다.

• 기존 도구나 에이전트의 출력 목적지를 단일 OpenAI 호환 엔드포인트(예: localhost:20128/v1)로 바꾸면 클라이언트 수정 없이 다수 공급자를 활용할 수 있다. 게시물에 따르면 setup-* 명령으로 13개 이상의 코딩 도구를 신속히 등록할 수 있어 전환 비용이 낮다. 이 방식은 공급자별 API 차이로 인한 코드 복잡도를 줄이고 멀티벤더 전략을 빠르게 시도하는 데 유용하다.
• 비용·가용성·지연에 대한 균형을 위해 콤보 우선순위를 설계해 구독 기반 모델→API 키 모델→저비용 모델→무료 모델 순으로 라우팅하도록 구성하면 단일 실패 지점으로 인한 작업 중단을 방지할 수 있다. 게시물에서 제시한 방식은 라우팅 전략을 priority·weighted·round-robin·cost-optimized 등으로 세분화하고 서킷 브레이커·키별 쿨다운·모델 락아웃 같은 회복력 계층을 함께 운용하는 점이 핵심이다. 운영상에는 각 콤보의 비용·지연·정확도 특성을 모니터링해 우선순위를 주기적으로 조정하는 것이 실무적으로 필요하다.
• 도구 기반 세션에서는 압축 파이프라인을 기본 활성화하되 코드·URL·JSON 보존 규칙과 inflation guard 기능을 반드시 유지해야 입력 왜곡이나 정보 손실 위험을 최소화할 수 있다. 게시물 사례에서는 도구 출력에 대해 평균 89% 토큰 절감이 보고되었으므로 토큰 비용 절감과 응답 품질 사이의 절충을 로그와 샘플링으로 검증하면서 적용 범위를 확장하는 것이 권장된다. 압축 엔진별로 성능·정확도 지표를 수집해 특정 워크로드에 적합한 파이프라인 스택을 결정해야 한다.

Circuit Breaker

— 서킷 브레이커는 외부 API나 서비스 호출 실패가 반복될 때 해당 호출을 일정 기간 차단해 전체 시스템 장애 확산을 막는 패턴이다. 이 구현에서는 개별 공급자 단위로 실패 임계치를 감지해 해당 공급자에 대한 요청을 잠시 중단하고 다른 대체 경로로 전환한다는 점이 핵심이다. 작동은 요청 실패율과 응답 코드(예: 5xx)를 모니터링하고 임계치를 넘으면 차단, 회복 시간 후 재시도 형태로 진행된다.

Token Compression Pipeline

— 토큰 압축 파이프라인은 도구 출력·로그·코드 등 입력을 여러 알고리즘으로 순차적으로 가공해 LLM에 전달되는 토큰 수를 줄이는 처리 체계이다. 이 프로젝트는 RTK 필터, 의미적 가지치기, 세션 중복 제거 등 여러 엔진을 스택해 평균 89% 수준의 입력 토큰 감소를 달성한다고 보고했다. 구현상 코드·URL·JSON은 무결성 보존 규칙을 적용해 바이트 단위로 보존하며, 압축이 오히려 커질 경우 원본을 전송하는 보호 장치를 둔다.

MCP

— MCP는 에이전트와 라우터 간 도구 호출·스트리밍·권한 범위 관리를 위한 서버 역할을 하는 프로토콜적 구성 요소를 가리킨다. 게시물에서는 stdio, SSE, streamable-HTTP를 통해 95개 도구를 관리하는 서버가 내장되어 에이전트가 게이트웨이를 통해 쿼리·콤보 전환·쿼터 조회·메모리 관리를 수행한다고 명시됐다. 이는 에이전트가 외부 툴 사용과 라우팅 제어를 게이트웨이 내부에서 직접 처리하도록 하는 구조적 이점이 있다.

A2A JSON-RPC

— A2A JSON-RPC는 에이전트 간 통신을 위해 표준 JSON-RPC 2.0 형식을 사용하는 상호작용 방식이다. 게시물에서는 v0.3 규격의 A2A 지원을 통해 에이전트가 다른 에이전트 또는 게이트웨이 내 기능을 원격으로 호출하는 흐름을 지원한다고 적시됐다. 이 방식은 도구 호출·결과 수집·상태 동기화에 낮은 오버헤드로 통신을 제공한다.