추론 시스템
학습된 AI 모델을 실제 서비스 환경에 배포하여 사용자 요청에 따라 결과를 생성하는 인프라 구조이다. 지연 시간 단축과 처리량 최적화가 핵심 과제이다.
연봉 43만 불 엔비디아 오퍼 거절하고 MS AI로 향한 SDE의 MLE 전환기