본문으로 건너뛰기

Shadow Engine Recovery

Shadow Engine Recovery

활성 LLM 추론 엔진과 같은 GPU에 미리 초기화한 대기 엔진을 유지해 프로세스 장애 때 즉시 트래픽을 넘기는 복구 방식입니다. 가중치와 CUDA 초기화 상태를 재사용해 cold restart의 장시간 재로딩을 피하는 것이 핵심입니다.