incremental and speculative decoding

점진적 디코딩은 모델이 입력이 완전히 들어오기 전에 부분 결과를 생성하는 방식이며, 추측적 디코딩은 여러 가능한 다음 토큰을 동시 예측해 지연을 줄이는 보완 기법입니다. 이 과정에서는 불확실성 관리와 후속 수정(rollback 또는 보완 생성)이 중요하며, 단일-턴 품질과 상호작용 지연 간 트레이드오프를 조정해야 합니다.