본문으로 건너뛰기
AI Trends
피드
트렌딩
콜로세움
공지
로그인
피드
트렌딩
콜로세움
공지
토큰 분절 효율 (token-fertility) 용어 설명 | AI Trends
token-fertility
토큰 분절 효율
고급
하나의 단어나 문장이 토크나이저에 의해 몇 개의 토큰으로 나뉘는지를 나타내는 지표이다. 이 수치가 낮을수록 모델이 더 긴 문맥을 효율적으로 처리할 수 있다.
비슷한 개념
information-density
fertility
tokenization
reasoning-efficiency
token-efficiency
token
token-per-second
token-generation
← 용어 사전 전체 보기