Draft Length
Draft Length
한 번의 target 모델 검증 단계에 앞서 draft 모델이 제안하는 토큰 수입니다. 값이 커지면 target 모델의 검증 횟수는 줄어들지만 draft 생성 비용과 KV cache 압력이 증가할 수 있어, 하드웨어와 작업별 acceptance length 사이의 균형이 필요합니다.
Draft Length
한 번의 target 모델 검증 단계에 앞서 draft 모델이 제안하는 토큰 수입니다. 값이 커지면 target 모델의 검증 횟수는 줄어들지만 draft 생성 비용과 KV cache 압력이 증가할 수 있어, 하드웨어와 작업별 acceptance length 사이의 균형이 필요합니다.
