llmgateway: 다중 제공자 라우팅·페일오버·비용 귀속을 지원하는 오픈소스 LLM 게이트웨이

작성자는 스스로 개발한 오픈소스 LLM 게이트웨이를 공개했고 해당 프로젝트는 다중 제공자 페일오버와 기능별 비용 귀속을 해결하는 것을 목표로 삼았다. 게이트웨이는 클라이언트가 기존 SDK를 유지하면서 base URL만 교체하면 통과하는 구조를 취하고, 요청 실패 시 동등 모델로 재시도하도록 라우팅과 매핑 로직을 포함한다. 구현상 핵심 고려사항으로 동등 모델 매핑, 시도별 타임아웃, 재시도 시 비가역적 사이드이펙트 방지가 제시되었고 Redis 응답 캐싱과 Docker로의 자체 호스팅을 통해 비용 절감과 데이터 주권 요구를 충족한다.

호환성 측면에서 프로젝트는 OpenAI 호환 API 레이어를 제공해 기존 코드를 크게 바꾸지 않고도 게이트웨이를 도입하게 하며 40개 이상의 제공자와 280개 이상의 모델을 지원한다고 명시했다. 비용 귀속은 각 호출에서 모델 식별자와 토큰 수, 기능 태그를 함께 기록해 태그별 비용 합계를 산출하는 방식으로 처리되어 어느 엔드포인트가 비용의 대부분을 차지하는지 빠르게 식별하게 한다. 작성자는 페일오버의 동등 모델 설계와 비용 귀속 구현에 대한 커뮤니티 피드백을 요청했다.

이 접근은 가용성 향상과 비용 원인 가시성 확보라는 실무적 이점을 제공하나 동등성 판정 기준과 재시도에 따른 상태 일관성 문제, 캐시 일관성·TTL 설계 같은 트레이드오프가 남아 있다. 운영 환경에 따라 모델 특성표와 태그 전략, idempotency 처리 규약을 엄격히 정의해야 효과를 볼 수 있으며, 구현 세부와 재현 가능한 사례가 더해질 경우 설계의 신뢰성이 높아질 것이다.