Cold restart
Cold restart
장애 난 추론 엔진을 처음부터 다시 시작하는 복구 절차입니다. 저장소에서 가중치를 HBM으로 로드하고 KV cache 크기를 정한 뒤 autotune과 CUDA graph 캡처를 반복하므로 대형 LLM에서는 serving capacity 회복까지 수분이 걸릴 수 있습니다.
Cold restart
장애 난 추론 엔진을 처음부터 다시 시작하는 복구 절차입니다. 저장소에서 가중치를 HBM으로 로드하고 KV cache 크기를 정한 뒤 autotune과 CUDA graph 캡처를 반복하므로 대형 LLM에서는 serving capacity 회복까지 수분이 걸릴 수 있습니다.
