VRAM 다중 입주
단일 GPU 메모리에 수천 개 모델 전체가 들어갈 수 없기 때문에 특정 시점에 '따뜻한' 모델들만 VRAM에 상주하게 되는 운영 패턴으로, 어떤 모델이 어디에 상주하느냐에 따라 요청의 처리 속도가 극단적으로 달라진다.
