dflash2

글에서 vLLM에 patch를 적용해 사용할 수 있는 speculative decoding 관련 구성 요소입니다. 작성자는 DSpark와 함께 테스트했을 때 비투기적 decoding보다 거의 2~3배 빠른 결과를 얻었지만, 이 수치는 개인 테스트이며 추가 확인이 필요하다고 기록했습니다.