Speculative Decoding 구현 및 교육용 저장소 공개

작성자가 직접 구현한 코드와 상세한 설명에 대해 학습 자료로서의 가치를 높게 평가하는 분위기이다.

• 구조화된 데이터나 코드 생성 작업에서는 n-gram prompt lookup을 먼저 시도하여 학습 비용 없이 가속을 얻을 수 있는지 확인하라.
• 처리량 최적화 시 수락률 수치에만 매몰되지 말고 검증 단계의 지연시간(Latency)을 반드시 측정하라.

Speculative Decoding

— 느리지만 강력한 타겟 모델 대신 가벼운 초안 모델이 여러 토큰을 미리 생성하고 타겟 모델이 이를 한 번에 검증하는 기법이다. 한 번의 추론 단계에서 여러 토큰을 확정할 수 있어 전체적인 생성 속도를 크게 향상시킨다.

Learned Proposer

— EAGLE이나 Medusa처럼 타겟 모델의 상단에 추가적인 헤드를 학습시켜 다음 토큰들을 예측하도록 설계된 구조이다. 별도의 독립된 초안 모델을 사용하는 대신 타겟 모델의 중간 특징값을 활용하여 효율성을 높인다.

Acceptance Rate

— 초안 모델이 제안한 토큰들 중 타겟 모델의 검증을 통과하여 최종적으로 채택된 토큰의 비율이다. 수락률이 높을수록 한 번의 검증으로 더 많은 토큰을 생성할 수 있지만, 반드시 전체 처리량(Throughput) 향상과 직결되지는 않는다.

N-gram Prompt Lookup

— 별도의 모델 학습 없이 현재 프롬프트 내에 반복되는 패턴을 찾아 다음 토큰을 예측하는 훈련 불필요(Training-free) 방식이다. 코드 생성이나 정형 데이터처럼 구조적 반복이 많은 작업에서 효과적이다.