streaming-latency

LLM이 생성한 토큰을 실시간으로 사용자에게 전달할 때 발생하는 지연 시간이다. 멀티 턴 에이전트 환경에서 도구 호출이 중첩될 경우 각 단계의 지연이 누적되어 사용자 경험을 저해하는 핵심 요인이 된다.