low-latency-models

저지연 모델은 입력에 대한 응답 지연 시간을 최소화하도록 설계된 언어 모델로, 모델 크기·아키텍처·추론 최적화(예: KV 캐시, 양자화)와 서빙 인프라 조합을 통해 초저지연을 목표로 한다. 실사용 환경에서는 응답 시간과 처리량, 품질 간 균형을 검증해야 한다.