본문으로 건너뛰기

output-length

출력 길이

중급

모델이 생성하는 응답의 평균 토큰 수로서 비용에 직접 비례하는 항목이며, 입력 대비 출력 비율이 크면 전체 비용에서 차지하는 비중이 기하급수적으로 증가한다. 비용 예측에서 출력 길이를 낮게 추정하면 실제 청구서에서 큰 오차가 발생한다.