Shadow Engine Recovery
Shadow Engine Recovery
활성 LLM 추론 엔진과 같은 GPU에 미리 초기화한 대기 엔진을 유지해 프로세스 장애 때 즉시 트래픽을 넘기는 복구 방식입니다. 가중치와 CUDA 초기화 상태를 재사용해 cold restart의 장시간 재로딩을 피하는 것이 핵심입니다.
Shadow Engine Recovery
활성 LLM 추론 엔진과 같은 GPU에 미리 초기화한 대기 엔진을 유지해 프로세스 장애 때 즉시 트래픽을 넘기는 복구 방식입니다. 가중치와 CUDA 초기화 상태를 재사용해 cold restart의 장시간 재로딩을 피하는 것이 핵심입니다.