본문으로 건너뛰기

Verification Batch

검증 배치

draft 모델이 만든 여러 토큰 후보를 target 모델이 동시에 평가하는 묶음입니다. 후보를 많이 검증하면 수락 토큰 수가 늘 수 있지만, 배치 처리 비용이 커져 전체 처리량이 오히려 낮아질 수 있습니다.