optimized-inference

추론 최적화는 하드웨어 종류, 배치 크기, 병렬화 전략, 사전 추론 기법(speculative decoding 등)을 조합해 지연과 처리량을 개선하는 과정이다. 이 글에서는 SageMaker AI의 추천 작업이 최적화된 추론 설정을 생성하고 그 결과를 MLflow로 스트리밍하는 흐름과 연결된다. 최적화는 여러 구성의 성능을 비교해 배포 전 최적의 조합을 선택하게 한다.