inference-system

학습된 AI 모델을 실제 서비스 환경에 배포하여 사용자 요청에 따라 결과를 생성하는 인프라 구조이다. 지연 시간 단축과 처리량 최적화가 핵심 과제이다.