token-fertility

하나의 단어나 문장이 토크나이저에 의해 몇 개의 토큰으로 나뉘는지를 나타내는 지표이다. 이 수치가 낮을수록 모델이 더 긴 문맥을 효율적으로 처리할 수 있다.