추론 컴퓨트
실서비스에서 모델이 입력을 처리하고 출력을 생성하는 동안 소비되는 컴퓨팅 자원으로, 지연·처리량·단가에 직접 영향을 주어 동일 작업을 처리하는 데 든 실비용과 신뢰성에 결정적 역할을 한다.
