ngram-mod
N-gram 기반 추측 모드
이전 토큰의 N-gram 패턴을 이용해 다음 토큰 후보를 추측하는 llama.cpp의 speculative decoding 설정입니다. 작성자는 n-min 4, n-max 8, n-match 32를 공통으로 적용하고 131072 또는 105000 컨텍스트에서 성능을 비교했습니다.
N-gram 기반 추측 모드
이전 토큰의 N-gram 패턴을 이용해 다음 토큰 후보를 추측하는 llama.cpp의 speculative decoding 설정입니다. 작성자는 n-min 4, n-max 8, n-match 32를 공통으로 적용하고 131072 또는 105000 컨텍스트에서 성능을 비교했습니다.
