본문으로 건너뛰기

lossy-speculative-decoding

손실 추측 디코딩

고급

타겟 모델의 출력과 완벽하게 일치하지 않더라도 최종 품질에 영향이 없다면 드래프트 토큰을 수용하는 방식이다. 약간의 정확도를 희생하고 더 높은 속도 향상을 얻는다.