LLM 게이트웨이
여러 LLM 제공업체와 애플리케이션 사이에서 요청을 중계하고 관리하는 중간 계층 소프트웨어입니다. API 요청의 라우팅, 로드 밸런싱, 장애 조치(Failover) 및 모니터링을 통합 관리하여 시스템의 안정성을 높이는 역할을 합니다.