본문으로 건너뛰기

inter-token-latency

토큰 간 지연시간

스트리밍 응답에서 연속된 출력 토큰 사이의 간격입니다. TTFT가 짧아도 ITL이 길거나 불규칙하면 사용자는 응답을 끊기는 흐름으로 느끼므로 Decode 성능을 별도로 확인해야 합니다.