본문으로 건너뛰기

mtp3

MTP3

추론 과정에서 여러 미래 토큰을 미리 제안하는 멀티 토큰 예측 설정입니다. 이 구현에서는 draft window를 3으로 두고 약 65%의 후보 수용률을 기록했으며, 표준 autoregressive 경로보다 높은 처리량을 얻는 데 사용했습니다.