센텐스피스
텍스트를 모델이 이해할 수 있는 토큰 단위로 분절하는 오픈소스 토크나이저 라이브러리입니다. Llama 3와 같은 모델에서 사전 훈련된 어휘집을 기반으로 입력을 수치화하는 핵심 전처리 단계에 활용됩니다.