본문으로 건너뛰기
AI Trends
피드
트렌딩
커뮤니티
공지
로그인
피드
트렌딩
커뮤니티
공지
OLMo 토크나이저 (olmo-tokenizer) 용어 설명 | AI Trends
olmo-tokenizer
OLMo 토크나이저
중급
OLMo 토크나이저는 어휘 크기가 100,278로 설정된 토크나이저로, 학습 데이터 구성에 맞춰 토큰 효율성을 높이고 처리량을 최적화한다.
비슷한 개념
byte-level-tokenizer
cl100k-base
tokenizer-transfer
tokenization
token-fertility
token
token-compression
tokenizer
← 용어 사전 전체 보기