ngram
N-gram 기반 추측
앞서 등장한 연속 토큰 패턴을 이용해 다음에 반복될 토큰을 미리 추정하는 방법입니다. 디버깅처럼 같은 문장을 반복 생성하는 작업에서는 초안과 실제 출력이 잘 맞아 높은 속도가 나오지만, 고유한 짧은 프롬프트에서는 효과가 작아집니다. 게시글의 최고 속도 197.77 tokens/s도 ngram이 작동한 경우였습니다.
N-gram 기반 추측
앞서 등장한 연속 토큰 패턴을 이용해 다음에 반복될 토큰을 미리 추정하는 방법입니다. 디버깅처럼 같은 문장을 반복 생성하는 작업에서는 초안과 실제 출력이 잘 맞아 높은 속도가 나오지만, 고유한 짧은 프롬프트에서는 효과가 작아집니다. 게시글의 최고 속도 197.77 tokens/s도 ngram이 작동한 경우였습니다.
