Busbar: LLM 벤더 간 Failover와 로드 밸런싱을 지원하는 Rust 기반 AI 게이트웨이

섹션별 상세

기존 SDK의 베이스 URL을 Busbar로 변경하면 코드 수정 없이 벤더 간 로드 밸런싱과 Failover가 적용됩니다. 벤더별 SDK를 개별 관리할 필요 없이 단일 엔드포인트로 모든 요청을 처리합니다.

단일 Rust 바이너리로 실행되어 Python 기반 게이트웨이와 달리 런타임 오버헤드와 가비지 컬렉션 지연이 없습니다. 15ms 미만의 시작 시간과 가벼운 리소스 점유로 프로덕션 환경의 핫 패스(hot path)에 적합합니다.

벤더 장애 발생 시 요청을 다른 벤더로 즉시 라우팅하며, 스트리밍 응답 중에도 Failover를 수행하여 서비스 중단을 방지합니다. 가중치 기반 라운드 로빈과 서킷 브레이커를 통해 안정적인 트래픽 분산을 지원합니다.

OpenAI, Anthropic, Gemini, Bedrock 등 6개 프로토콜을 지원하며, 벤더 간 프로토콜 차이를 내부 IR(중간 표현)을 통해 손실 없이 변환합니다. 요청 파라미터와 응답 포맷을 자동으로 조정하여 벤더 종속성을 제거합니다.

SSRF 방지, 요청 본문 크기 제한, 키 로깅 방지 등 프로덕션 환경을 위한 보안 기능을 기본으로 제공합니다. 모든 설정은 YAML 파일로 관리되며, 민감한 API 키는 환경 변수를 통해 안전하게 주입됩니다.