throughput-optimization

처리량 최적화는 동일한 시간 동안 더 많은 토큰을 생성하기 위해 모델 추론 파이프라인을 구조적으로 개선하는 접근이다. 스펙큘러티브 디코딩은 초안 예측과 선택적 검증을 결합해 단위 시간당 처리 토큰 수를 높인다. 결과적으로 실서비스 환경에서 지연과 비용을 동시에 낮추는 실무적 이득을 얻는다.