OpenAI-Gemini API 키 로테이터: 다중 LLM 공급자를 위한 Node.js 프록시 서버

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

이 프로젝트는 여러 LLM 공급자의 API 키를 효율적으로 관리하고 자동 순환시키는 Node.js 기반의 프록시 서버이다. 특정 키가 속도 제한(HTTP 429)에 도달하면 지능적인 셔플링 알고리즘을 통해 즉시 다른 유효한 키로 요청을 전달한다. OpenAI 및 Gemini 호환 API를 모두 지원하며, SSE 스트리밍 응답을 완벽하게 통과시켜 실시간 챗봇 서비스에 적합하다. 별도의 외부 의존성 없이 실행 가능하며, 관리자 패널을 통해 실시간으로 키 사용량을 모니터링하고 설정을 변경할 수 있다.

배경

Node.js 설치, OpenAI 또는 Gemini 호환 API 키, 기본적인 curl 명령어 사용 지식

대상 독자

여러 LLM API를 통합 관리하고 비용 및 속도 제한 문제를 해결하려는 개발자

의미 / 영향

이 도구는 소규모 개발자나 스타트업이 여러 무료/저가형 API 키를 묶어 고가용성 서비스를 구축할 수 있게 돕습니다. 특히 특정 모델에 종속되지 않고 여러 공급자(Groq, Cerebras 등)를 유연하게 교체하며 사용할 수 있는 인프라를 제공합니다.

섹션별 상세

다수의 API 키를 등록하고 특정 HTTP 상태 코드 발생 시 자동으로 다음 키를 사용하는 로테이션 기능을 제공한다. 기본적으로 429 에러 발생 시 작동하며, 최근 실패한 키를 피하는 지능형 셔플링을 통해 요청 성공률을 극대화한다. 이를 통해 단일 키의 할당량 제한을 넘어 안정적인 서비스 운영이 가능하다.

OpenAI와 Gemini의 API 규격을 모두 수용하며 스트리밍 응답을 지원한다. 서버가 응답을 버퍼링하지 않고 클라이언트에게 즉시 전달하므로 실시간 텍스트 생성이 필요한 애플리케이션에 즉시 적용할 수 있다. 헤더를 통해 요청별로 로테이션 기준이 되는 상태 코드를 동적으로 설정할 수도 있다.

웹 기반의 현대적인 관리자 패널을 통해 공급자별 키 상태와 사용량을 실시간으로 관리한다. 키를 저장하기 전에 자동으로 유효성을 검사하며, 개별 키나 공급자 전체를 활성화 또는 비활성화할 수 있는 기능을 갖췄다. 다크 모드와 라이트 모드를 모두 지원하여 관리 편의성을 높였다.

bash

curl -X POST "http://localhost:8990/groq/chat/completions" \
 -H "Authorization: Bearer [STATUS_CODES:429][ACCESS_KEY:your-access-key]" \
 -H "Content-Type: application/json" \
 -d '{ "model": "openai/gpt-oss-120b", "messages": [ { "role": "user", "content": "Hello!" } ] }'

Groq 공급자를 통해 OpenAI 호환 API 요청을 보내는 예시

bash

curl -X POST "http://localhost:8990/gemini/models/gemini-2.5-flash:generateContent" \
 -H "x-goog-api-key: [STATUS_CODES:429][ACCESS_KEY:your-access-key]" \
 -H "Content-Type: application/json" \
 -d '{ "contents": [ { "parts": [ { "text": "Hello!" } ] } ] }'

Gemini 호환 API에 대한 로테이션 요청 예시

관리자 패널의 로그인 화면 — Screenshot보안을 위해 설정된 관리자 비밀번호를 입력하는 화면을 보여준다. .env 파일에서 설정한 ADMIN_PASSWORD를 통해 접근이 제어됨을 알 수 있다.

API 키 관리 대시보드 — ScreenshotCerebras, Comet, Gemini, Groq 등 다양한 공급자별로 API 키를 등록하고 관리하는 UI를 보여준다. 각 키의 사용 횟수와 테스트 버튼, 활성화 스위치 등을 통해 직관적인 관리가 가능함을 시각화한다.

실시간 API 요청 로그 화면 — Screenshot최근 100개의 API 요청에 대한 타임스탬프, 엔드포인트, 응답 시간, 사용된 키 정보를 로그 형식으로 보여준다. 어떤 요청이 성공했는지와 특정 요청에 어떤 키가 할당되었는지 실시간으로 모니터링할 수 있다.

내장된 텔레그램 봇을 통해 설정된 모든 모델과 직접 대화할 수 있는 인터페이스를 제공한다. 텍스트 대화뿐만 아니라 이미지 입력(Vision) 및 이미지 생성 모델의 결과물 출력까지 지원한다. 모든 봇 요청은 프록시를 거치므로 자동으로 키 로테이션과 로깅 혜택을 받는다.

실무 Takeaway

무료 티어 API 키 여러 개를 활용하여 유료 플랜 없이도 높은 처리량의 LLM 서비스를 구축할 수 있다.
Access Key 기능을 사용하여 특정 공급자에 대한 접근 권한을 제어함으로써 프록시 서버의 보안을 강화할 수 있다.
디바운싱 기술이 적용된 파일 로깅 시스템을 통해 성능 저하 없이 모든 API 요청 내역을 logs.jsonl 파일로 기록하고 분석할 수 있다.

언급된 리소스

GitHubopenai-gemini-api-key-rotator GitHub

curl -X POST "http://localhost:8990/groq/chat/completions" \ -H "Authorization: Bearer [STATUS_CODES:429][ACCESS_KEY:your-access-key]" \ -H "Content-Type: application/json" \ -d '{ "model": "openai/gpt-oss-120b", "messages": [ { "role": "user", "content": "Hello!" } ] }'

curl -X POST "http://localhost:8990/gemini/models/gemini-2.5-flash:generateContent" \ -H "x-goog-api-key: [STATUS_CODES:429][ACCESS_KEY:your-access-key]" \ -H "Content-Type: application/json" \ -d '{ "contents": [ { "parts": [ { "text": "Hello!" } ] } ] }'

OpenAI-Gemini API 키 로테이터: 다중 LLM 공급자를 위한 Node.js 프록시 서버

핵심 요약

배경

대상 독자

의미 / 영향

섹션별 상세

실무 Takeaway

언급된 리소스

OpenAI-Gemini API 키 로테이터: 다중 LLM 공급자를 위한 Node.js 프록시 서버

핵심 요약

배경

대상 독자

의미 / 영향

섹션별 상세

실무 Takeaway

언급된 리소스

관련 토론

댓글

관련 피드

관련 토론

댓글

관련 피드