본문으로 건너뛰기

policy-based-router

정책 기반 라우터

중급

미리 정의된 규칙이나 논문에 기반한 알고리즘에 따라 모델 선택을 자동화하는 구성 요소이다. 비용, 지연 시간, 정확도 등 사용자가 설정한 우선순위에 맞춰 최적의 추론 경로를 결정하는 역할을 수행한다.