요청 라우팅
클라이언트 요청을 적절한 서비스(예: 특정 모델 버전, 에이전트, 파이프라인 단계)로 전달하는 레이어를 뜻한다. 라우터는 입력 메타데이터·부분적 응답·정책을 검사해 트래픽을 분기하고, 라우팅 결정은 성능·비용·가용성 정책에 따라 달라진다. 복잡한 시스템에서는 라우팅이 병목이나 장애의 원인이 될 수 있어 중앙화된 제어가 유리할 때가 있다.