본문으로 건너뛰기

트렌딩 - GitHub 인기 레포 & HuggingFace 모델

deepseek-ai/DeepSpec

Python2 / 0

데이터 준비부터 학습·평가까지 speculative decoding용 드래프트 모델을 재현하고 벤치마크하는 Python 기반 풀스택 코드베이스이다.

TL;DR

DeepSpec은 speculative decoding을 위한 데이터 준비, 드래프트 모델 학습, 수용률 평가를 하나의 파이프라인으로 통합한 풀스택 코드베이스이다. 프롬프트 다운로드와 타깃 모델을 통한 응답 재생성으로 대용량 타깃 캐시를 구축하고 이 캐시를 기준으로 DSpark·DFlash·Eagle3 같은 드래프트를 학습시킨 뒤 여러 벤치마크에서 acceptance를 측정하는 방식으로 작동한다. README는 기본 Qwen/Qwen3-4B 설정에서 타깃 캐시가 약 38TB에 달할 수 있음을 명시하고 학습 스크립트가 가시적 GPU마다 워커를 띄우도록 설계되어 있어 대규모 스토리지와 다중 GPU 환경이 요구된다는 한계가 분명하다. 논문 Table 1과 대응되는 체크포인트를 Hugging Face에 공개해 연구 재현성이 확보되어 있으며 동일 설정을 맞춰야만 의미 있는 비교가 가능하다는 점이 강조되었다.

핵심 포인트

  • 데이터 준비부터 평가까지 실험 재현을 염두에 둔 풀스택 파이프라인을 단일 레포지토리에서 제공한다
  • DSpark, DFlash, Eagle3 등 여러 드래프트 알고리즘에 대한 학습 구성과 기학습 체크포인트를 함께 공개해 논문 결과를 직접 재현할 수 있게 설계되었다
  • 타깃 캐시 생성과 재생성 과정에서 타깃 모델 서빙을 요구하는 단계까지 자동화하여 드래프트 학습용 정답 데이터의 일관성을 유지하도록 구성되었다
  • 데이터 준비 파이프라인을 실행하여 프롬프트 다운로드·정답 재생성·타깃 캐시를 구축한다

5.7k

STARS

461

FORKS

+213

TRENDING

2

조회수

watchers 5.7kopen issues 31MIT License

관련 토론

아직 관련 토론이 없습니다.

댓글

댓글을 작성하려면 로그인이 필요합니다.