Cooldown Probe
Cooldown Probe
장애가 발생한 실행 대상을 일정 시간 동안 요청 경로에서 제외한 뒤 다시 정상 여부를 확인하는 절차입니다. HybridInfer는 문제가 발생한 모델을 rotation에서 빼고 cooldown 이후 probe를 수행해 복귀 가능성을 확인합니다. 반복 장애가 전체 요청에 미치는 영향을 줄이는 구조입니다.
Cooldown Probe
장애가 발생한 실행 대상을 일정 시간 동안 요청 경로에서 제외한 뒤 다시 정상 여부를 확인하는 절차입니다. HybridInfer는 문제가 발생한 모델을 rotation에서 빼고 cooldown 이후 probe를 수행해 복귀 가능성을 확인합니다. 반복 장애가 전체 요청에 미치는 영향을 줄이는 구조입니다.