Gateway and Router

Gateway와 Router는 여러 Inference Provider와 모델을 하나의 API 뒤에 연결하는 계층입니다. 요청별로 모델과 백엔드를 선택하고 가격, 지연 시간, 성능을 비교할 수 있어 애플리케이션 코드를 크게 바꾸지 않고 공급자를 교체하게 해줍니다.