go-llm-proxy: 단일 엔드포인트로 모든 LLM 백엔드 통합 관리

섹션별 상세

여러 LLM 공급자를 하나의 주소로 묶어 관리하는 기능이 핵심이다. OpenAI Responses API와 Chat Completions 간의 자동 변환을 지원하여 서로 다른 규격의 모델을 코드 수정 없이 교체하며 사용할 수 있다. 이를 통해 vLLM, Ollama 같은 로컬 엔진과 OpenAI, Anthropic 같은 클라우드 API를 혼합 운영하는 환경에서 유연성을 확보한다. 인프라 복잡도를 낮추면서도 다양한 모델의 성능을 비교 테스트하기에 용이하다.

복잡한 인프라 구성 요소 없이 실행 가능한 구조를 지향한다. Redis나 외부 DB 없이 단일 정적 바이너리와 YAML 설정 파일만으로 구동되며, 설정 변경 시 프로세스 재시작 없이 실시간으로 반영되는 Hot Reload 기능을 포함한다. 의존성을 최소화하여 홈 서버나 로컬 환경에서도 부담 없이 LLM API 서버를 구축할 수 있다. 가벼운 실행 환경 덕분에 리소스가 제한된 환경에서도 안정적인 서빙이 가능하다.

API 요청 데이터를 SQLite에 저장하여 투명한 운영 정보를 제공한다. 웹 대시보드와 CLI 리포트를 통해 사용자별 토큰 사용량, 모델별 지연 시간, 에러율 등을 실시간으로 모니터링할 수 있다. API 키는 SHA-256 해시의 일부만 저장하는 보안 방식을 채택하여 개인정보를 보호하면서도 사용자를 식별한다. 외부 모니터링 서비스에 의존하지 않고도 데이터 주권을 유지하며 사용 통계를 관리할 수 있다.

bash

$ ./go-llm-proxy -usage-report -report-days 7
DATE USER REQUESTS INPUT TOK OUTPUT TOK TOTAL TOK
---- ---- -------- --------- ---------- ---------
2026-04-02 admin 342 1,245,000 312,000 1,557,000
2026-04-02 derek 128 489,000 122,000 611,000
// ...(중략)
=== User Summary ===
USER REQUESTS TOTAL TOK DAYS LAST SEEN
---- -------- --------- ---- ---------
admin 4,892 22,801,000 7 2026-04-02
derek 1,234 4,515,000 6 2026-04-02

CLI를 통해 최근 7일간의 사용자별 토큰 사용량 리포트를 생성하는 예시

Claude Code나 OpenAI Codex 같은 도구와의 연동 편의성을 극대화했다. 내장된 대화형 설정 생성기를 통해 각 도구에 맞는 JSON 또는 TOML 설정 파일과 실행 스크립트를 즉석에서 생성할 수 있다. 이는 개발자가 복잡한 환경 변수나 API 엔드포인트 설정을 수동으로 입력하는 번거로움을 줄여준다. 에이전트 기반 개발 워크플로우를 신속하게 구축하고 다양한 백엔드 모델을 실험하는 데 최적화되어 있다.

toml

config.toml
model = "MiniMax-M2.5"
model_provider = "go-llm-proxy"
model_reasoning_effort = "medium"
model_context_window = 196608

[model_providers.go-llm-proxy]
name = "Go-LLM-Proxy"
base_url = "https://llm.example.com/v1"
wire_api = "responses"
experimental_bearer_token = "sk-••••••"

설정 생성기를 통해 특정 모델과 코딩 에이전트를 연동하기 위해 생성된 TOML 설정 예시

용어 해설

API 프록시(API Proxy): — 클라이언트와 여러 백엔드 서버 사이에서 요청을 중계하고 관리하는 중간 계층이다. 인증, 로깅, 부하 분산 등을 중앙에서 처리하여 인프라의 복잡성을 줄이고 보안을 강화하는 역할을 한다.
프로토콜 변환(Protocol Translation): — 서로 다른 API 규격 간의 데이터를 자동으로 변환하여 호환성을 확보하는 기술이다. 예를 들어 OpenAI의 응답 형식을 Anthropic 형식으로 변환하여 클라이언트 코드 수정 없이 백엔드를 교체할 수 있게 한다.
핫 리로드(Hot Reload): — 서비스를 중단하거나 프로세스를 재시작하지 않고도 변경된 설정 파일을 실시간으로 시스템에 반영하는 기능이다. 활성 연결을 유지하면서 새로운 설정을 적용할 수 있어 운영 연속성을 보장한다.
SSRF 방지(SSRF Prevention): — 서버 측 요청 위조(Server-Side Request Forgery) 공격을 차단하기 위한 보안 조치이다. 허용된 엔드포인트만 접근 가능하게 하고 리다이렉트를 제한하여 내부 네트워크 자원에 대한 비정상적인 접근을 막는다.
리버스 프록시(Reverse Proxy): — 클라이언트의 요청을 받아 내부 서버로 전달하는 대리 서버로, 보안 강화와 성능 최적화를 위해 사용된다. Nginx와 같은 도구를 통해 TLS 암호화, 속도 제한, 인증 계층을 추가하여 실제 서비스를 보호한다.

기술

Go
SQLite
vLLM
Ollama
Claude Code
OpenAI API
Anthropic API

활용 사례

로컬 LLM 서버 구축
멀티 모델 API 통합
사용자별 LLM 비용 추적
코딩 에이전트 백엔드 구성