any-llm-gateway: LLM 비용 관리 및 API 키 제어를 위한 오픈소스 프록시 서버

섹션별 상세

any-llm-gateway는 FastAPI를 기반으로 구축된 프록시 서버로 애플리케이션의 요청을 받아 인증, 예산 확인, 사용량 추적을 수행한 뒤 적절한 LLM 프로바이더로 라우팅한다. OpenAI, Anthropic, Gemini 등 다양한 모델 포맷을 지원하며 애플리케이션과 프로바이더 사이의 투명한 계층 역할을 수행한다.

bash

curl -X POST http://localhost:8000/v1/chat/completions \
  -H "X-AnyLLM-Key: Bearer your-secure-master-key" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "openai:gpt-5",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

any-llm-gateway를 통해 LLM 요청을 보내는 예시 curl 명령

any-llm-gateway의 아키텍처 및 요청 처리 흐름 다이어그램 — Diagram애플리케이션의 요청이 게이트웨이를 통과할 때 인증(Authenticate), 예산 확인(Budget), 라우팅(Route), 추적(Track)의 4단계를 거치는 과정을 보여준다. 이 과정에서 Postgres DB와 연동되어 데이터를 관리하고 최종적으로 다양한 LLM 프로바이더로 요청을 전달하는 구조를 명확히 제시한다.

스마트 예산 관리 기능을 통해 일일, 주간, 월간 단위의 자동 리셋 예산을 설정할 수 있다. 예산 한도 초과 시 요청을 즉시 차단하는 강제 집행 모드와 차단 없이 지출만 모니터링하는 추적 전용 모드를 선택하여 운영 정책에 맞게 적용 가능하다.

유연한 API 키 시스템은 마스터 키 인증과 가상 API 키(Virtual API Keys) 두 가지 패턴을 지원한다. 가상 API 키를 사용하면 실제 프로바이더의 자격 증명을 노출하지 않고도 사용자별로 세분화된 접근 권한, 만료일, 예산 할당량을 관리할 수 있다.

모든 요청에 대해 프롬프트, 완성, 총 토큰 수와 관리자가 설정한 가격에 따른 비용을 상세히 기록한다. PostgreSQL을 데이터베이스로 사용하여 데이터 안정성을 확보했으며, 추가 지연 시간은 50ms 미만으로 유지되어 실시간 서비스에 적합한 성능을 제공한다.

Docker 및 Kubernetes 환경에 최적화된 배포 구조를 갖추고 있다. YAML 파일이나 환경 변수를 통해 간편하게 설정할 수 있으며, 내장된 상태 확인(Liveness/Readiness probes) 기능을 통해 프로덕션 환경에서의 안정적인 운영을 지원한다.

용어 해설

프록시 서버(Proxy Server): — 클라이언트와 서버 사이에서 통신을 중계하는 중간 서버이다. 보안 강화, 요청 필터링, 부하 분산 및 사용량 추적과 같은 제어 기능을 수행하여 직접적인 노출을 방지하고 관리 효율성을 높인다.
API 게이트웨이(API Gateway): — 여러 서비스 API의 단일 진입점 역할을 하는 시스템이다. 인증, 권한 부여, 속도 제한(Rate Limiting), 라우팅 등을 중앙에서 처리하여 마이크로서비스 아키텍처의 복잡성을 해결한다.
토큰 카운트(Token Count): — LLM이 텍스트를 처리하는 최소 단위인 토큰의 개수이다. 대부분의 LLM API는 이 토큰 수를 기준으로 비용을 청구하므로, 정확한 비용 관리와 예산 집행을 위해 실시간 추적이 필수적이다.

기술

FastAPI
PostgreSQL
Docker
Kubernetes
OpenAI API
Anthropic API

활용 사례

기업 내 부서별 LLM 예산 할당 및 관리
멀티 모델 LLM 서비스의 중앙 집중식 로깅 및 분석
외부 사용자 대상의 제한된 LLM API 재판매 또는 제공

언급된 리소스

문서any-llm-gateway Quick Start Guide

GitHubany-llm GitHub Repository