Latency
지연 시간
사용자의 요청이 발생한 시점부터 시스템이 응답을 완료할 때까지 걸리는 시간을 뜻한다. LLM 애플리케이션에서는 모델의 추론 시간과 API 통신 시간이 주요 요인이며, 이를 줄이는 것이 사용자 경험 향상에 핵심적이다.
지연 시간
사용자의 요청이 발생한 시점부터 시스템이 응답을 완료할 때까지 걸리는 시간을 뜻한다. LLM 애플리케이션에서는 모델의 추론 시간과 API 통신 시간이 주요 요인이며, 이를 줄이는 것이 사용자 경험 향상에 핵심적이다.
