tokenizer

텍스트 데이터를 모델이 이해할 수 있는 숫자 단위인 '토큰'으로 분리하거나 그 반대로 변환하는 구성 요소이다. LLM 추론 과정에서 입력 텍스트를 처리하고 출력 결과를 생성하는 첫 번째와 마지막 단계를 담당한다.