inference-data-center

추론 전용 데이터센터는 학습이 아니라 모델의 실시간 응답(인퍼런스) 처리에 특화된 인프라로서 전용 가속기, 네트워킹, 운영도구를 결합해 초당·일별 처리량과 지연을 최적화하는 목적을 가진 시설이다.