llmgate: YAML 설정 기반의 초경량 멀티 LLM 커넥터

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

기존 LLM 연동 프레임워크들의 과도한 의존성과 복잡성을 해결하기 위해 개발된 초경량 라이브러리 llmgate가 공개되었다. 이 도구는 httpx와 pyyaml 단 두 개의 라이브러리만 사용하여 21개의 주요 LLM 프로바이더와 연동할 수 있는 인터페이스를 제공한다. 사용자는 YAML 설정 파일을 통해 모델과 API 키를 관리하며, 코드 수정 없이 프로필 전환만으로 프로바이더를 교체할 수 있다. 현재 동기 방식의 호출을 지원하며, 향후 비동기 지원이 계획되어 있다.

배경

Python 3.10 이상, 기본적인 YAML 문법 이해, 주요 LLM 프로바이더의 API 키

대상 독자

의존성 최소화와 빠른 실행 속도를 중시하는 Python LLM 애플리케이션 개발자

의미 / 영향

이 도구는 대규모 프레임워크 도입 없이도 다중 LLM 프로바이더를 유연하게 관리할 수 있게 함으로써, 마이크로서비스나 경량 엣지 컴퓨팅 환경에서의 LLM 도입 장벽을 낮춘다. 특히 복잡한 SDK 설치 없이 YAML 설정만으로 모델을 교체할 수 있는 편의성을 제공한다.

섹션별 상세

llmgate는 LiteLLM과 같은 기존 도구의 무거운 의존성(약 200MB 이상)을 지양하고, 2MB 미만의 설치 크기와 최소한의 의존성으로 작동하도록 설계되었다. httpx와 pyyaml만을 사용하여 직접 HTTP 호출을 수행하므로 프록시 서버나 데이터베이스 로깅으로 인한 지연 시간이 거의 발생하지 않는다.

YAML 파일을 통해 smart, fast, cheap 등 다양한 프로필을 정의하고, 런타임에서 gate.switch() 메서드를 사용하여 즉시 프로바이더를 교체할 수 있는 유연성을 제공한다. 이를 통해 개발 환경에서는 로컬 모델을 사용하고 운영 환경에서는 고성능 클라우드 모델로 전환하는 작업이 간소화된다.

yaml

provider: anthropic
model: claude-sonnet-4-20250514
api_key: ${ANTHROPIC_API_KEY}
temperature: 0.7
max_tokens: 1024

llmgate.yaml 설정 파일 작성 예시

OpenAI, Anthropic, Gemini 등 21개의 주요 클라우드 프로바이더뿐만 아니라 Ollama, LM Studio와 같은 로컬 LLM 환경도 지원하며, 대부분의 프로바이더에서 스트리밍 출력이 가능하다. 스트리밍을 지원하지 않는 일부 프로바이더의 경우 전체 응답을 단일 청크로 반환하여 인터페이스 일관성을 유지한다.

python

from llmgate import LLMGate

gate = LLMGate()
response = gate.chat("Explain transformers in one sentence")
print(response.text)
print(response.tokens_used)

llmgate를 사용한 기본적인 채팅 호출 코드

환경 변수 보간(Interpolation) 기능을 지원하여 YAML 파일 내에서 ${ENV_VAR} 구문을 통해 API 키나 엔드포인트를 안전하게 관리할 수 있다. python-dotenv와 연동하여 .env 파일로부터 설정을 로드하는 방식도 지원하여 보안성을 높였다.

yaml

active_profile: smart
profiles:
  smart:
    provider: anthropic
    model: claude-sonnet-4-20250514
  fast:
    provider: groq
    model: llama-3.1-8b-instant

멀티 프로필 기능을 활용한 YAML 설정 구조

확장 가능한 구조를 채택하여 새로운 프로바이더 추가 시 BaseProvider를 상속받아 구현할 수 있으며, OpenAI 호환 API의 경우 기본 클래스를 재사용하여 최소한의 코드 수정으로 통합이 가능하다. 현재 v0.1 버전은 동기 방식만 지원하며 v0.2에서 Async 지원이 예정되어 있다.

실무 Takeaway

의존성 충돌이 우려되는 복잡한 프로젝트에서 LLM을 연동해야 할 때, httpx 기반의 llmgate를 사용하여 시스템 부하와 설치 크기를 최소화할 수 있다.
YAML 기반의 멀티 프로필 설정을 활용하면 개발 환경(로컬 LLM)과 운영 환경(클라우드 API) 간의 전환을 코드 변경 없이 수행할 수 있다.
llmgate[aws]나 llmgate[gcp]와 같은 선택적 설치 옵션을 통해 필요한 프로바이더의 의존성만 선별적으로 추가하여 런타임 환경을 최적화할 수 있다.

언급된 리소스

GitHubllmgate GitHub Repository