본문으로 건너뛰기

latency-based-routing

지연 시간 기반 라우팅

중급

여러 LLM 공급자 간 응답 지연 및 가용성을 고려해 트래픽을 가장 빠르고 안정적인 공급자로 자동 분배하는 연결 전략.

← 용어 사전 전체 보기