z-lab/dflash
Python2 / 0
DFlash는 블록 확산(Block Diffusion) 메커니즘을 활용하여 LLM의 병렬 드래프팅 품질과 추론 속도를 혁신적으로 높이는 경량 Speculative Decoding 프레임워크입니다.
핵심 포인트
- 블록 확산 모델을 통한 고품질 병렬 드래프트 토큰 생성
- vLLM 및 SGLang 서빙 엔진과의 네이티브 통합 지원
- Apple Silicon 환경을 위한 MLX 기반 최적화 구현체 제공
- 슬라이딩 윈도우 KV 캐시를 통한 롱 컨텍스트 추론 효율화
3.5k
STARS
245
FORKS
+386
TRENDING
2
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.
