dflash-speculative-decoding
병렬 확률적 추론 기법
DFlash는 병렬화된 speculative decoding 접근으로, draft와 target 경로를 함께 사용해 지연을 줄이는 기법이다. ExecuTorch는 draft와 target의 weight sharing을 지원하고 두 경로를 한 PTE에 동적으로 내보내어 런타임에서 블록 길이를 선택할 수 있도록 설계했다. 이로써 작은 토큰 단위 검증을 통해 단일 토큰 응답 지연을 줄이는 동시에 전체 처리량을 높이는 효과를 노린다.
