본문으로 건너뛰기

Cooldown Probe

Cooldown Probe

장애가 발생한 실행 대상을 일정 시간 동안 요청 경로에서 제외한 뒤 다시 정상 여부를 확인하는 절차입니다. HybridInfer는 문제가 발생한 모델을 rotation에서 빼고 cooldown 이후 probe를 수행해 복귀 가능성을 확인합니다. 반복 장애가 전체 요청에 미치는 영향을 줄이는 구조입니다.