TL;DR

FreeLLMAPI는 29개 무료 제공자의 프리티어를 합쳐 로컬에서 하나의 OpenAI 호환 /v1 엔드포인트로 노출하는 라우터입니다. 키는 AES-256-GCM으로 SQLite에 암호화 저장하고 라우터가 서명된 카탈로그를 하루 두 번 동기화해 모델·쿼타 변화를 반영하며 자동 페일오버와 per-key 한도 학습으로 라우팅을 관리합니다. 배포는 Docker 한 줄 설치 스크립트나 데스크탑 설치기를 통해 가능하고 Node 20+ 환경에서 동작하므로 프로토타입·개인 실험에 바로 연결하기 좋습니다. 단점으로는 지연·품질 변동, SLA 부재, 제공자 ToS 준수 책임이 있으며 '개인 실험용'으로 권장된다는 점을 반드시 인지해야 합니다.

핵심 포인트

• FreeLLMAPI는 29개 무료 제공자의 프리티어를 하나의 로컬 OpenAI 호환 /v1 엔드포인트로 통합해 월 약 4 billion tokens의 추론 용량을 쌓아놓는 라우터입니다. 작동 방식은 각 제공자 키를 AES-256-GCM으로 SQLite에 암호화 저장하고 요청 시 메모리에서 복호화해 실제 호출을 수행하는 구조이며, 라우터가 per-key RPM/RPD/TPM/TPD를 학습해 각 제공자의 한도를 넘지 않도록 관리합니다. 그 결과 여러 SDK나 에이전트를 변경하지 않고도 기존 OpenAI 클라이언트들을 로컬로 연결해 무료 자원을 최대한 활용할 수 있습니다.
• 라우팅은 실시간 속도·신뢰도·능력 점수를 기반으로 하는 여섯 가지 전략과 체인(fallback chain)을 사용해 가장 적합한 모델을 선택하고, 429/5xx 발생 시 자동으로 다음 후보로 페일오버하며 쿨다운과 키 회전 메커니즘을 적용합니다. 라우터는 freellmapi.co로부터 서명된 카탈로그를 하루 두 번 동기화하고 Ed25519로 검증해 신규 모델과 쿼타 변경·호환성 패치를 자동으로 반영합니다. Fusion(여러 모델 병렬 실행 후 판정 모델 합성), Anthropic Messages, Gemini/Ollama 에뮬레이션, 이미지·오디오·임베딩 등 OpenAI 표면 대부분을 호환하는 점이 통합 사용의 핵심입니다.
• 배포·운영 측면에서는 Node 20+ 환경에서 동작하고 Docker 한 줄 설치 스크립트, 데스크탑(.dmg/.exe) 설치기, Raspberry Pi 같은 ARM SBC도 지원하며 유휴 시 약 40 MB RSS를 보고합니다. 관리 UI는 로컬 대시보드로 키 관리·체인 재정렬·플레이그라운드·분석(24h–90d)을 제공하고 UI는 60개 언어를 지원합니다. 소스는 MIT 라이선스이며 라이브 카탈로그 기능은 유료 선택지($19/년 또는 $49 일시불)로 운영되어 카탈로그 테스트·유지보수를 자금으로 지원합니다.
• 제약과 주의점은 명확합니다. 무료 티어를 쌓는 특성상 지연시간·품질 변동·SLA 부재가 있고 하루·시간대별로 상위 모델이 할당을 소진하면 성능 저하가 발생하며, 프로젝트 자체는 '개인 실험용'으로 권장되고 실제 서비스 전환 시에는 유료 API로 전환할 것을 권고합니다. 또한 각 업스트림 제공자의 ToS 적용 여부는 사용자가 준수해야 하는 부분이며 FreeLLMAPI가 법적 책임을 대신하지 않습니다.

이미지 분석