본문으로 건너뛰기

피드 트렌딩 커뮤니티 공지사항 기술 태그 AI 용어 사전 서비스 소개 문의 운영 정책 개인정보 처리방침

매일 업데이트되는 글로벌 소스의 AI/ML 뉴스를 수집하고 한국어로 요약합니다.

AI Trends·후원

피드 트렌딩 커뮤니티 공지

피드 트렌딩 커뮤니티 공지

OLMo 토크나이저 (olmo-tokenizer) 용어 설명 | AI Trends

olmo-tokenizer

OLMo 토크나이저

중급

OLMo 토크나이저는 어휘 크기가 100,278로 설정된 토크나이저로, 학습 데이터 구성에 맞춰 토큰 효율성을 높이고 처리량을 최적화한다.

비슷한 개념

byte-level-tokenizer cl100k-base tokenizer-transfer tokenization token-fertility token token-compression tokenizer

← 용어 사전 전체 보기