본문으로 건너뛰기

Cost of Inference

추론 비용

모델 호출당 소모되는 컴퓨팅 자원과 그에 따른 과금 구조를 가리키며 토큰 수·모델 크기·배치 정책·하드웨어 효율성 등에 의해 결정되어 API 가격정책과 서비스 경제성의 핵심 변수가 된다.