Runtime-Health-Aware Routing
런타임 상태 기반 라우팅
모델의 응답 지연, 토큰 생성 중단, 오류 같은 실행 상태를 관찰해 요청을 보낼 계층을 선택하는 방식입니다. HybridInfer는 모델과 프롬프트 길이별 실패 위험을 학습해 로컬 실행을 유지할지 원격 모델로 건너뛸지 결정합니다.
런타임 상태 기반 라우팅
모델의 응답 지연, 토큰 생성 중단, 오류 같은 실행 상태를 관찰해 요청을 보낼 계층을 선택하는 방식입니다. HybridInfer는 모델과 프롬프트 길이별 실패 위험을 학습해 로컬 실행을 유지할지 원격 모델로 건너뛸지 결정합니다.
