토크나이저 전이
사전 학습된 언어 모델의 토크나이저를 새로운 언어나 도메인에 맞게 변경하거나 확장하는 프로세스이다. 기존 모델이 학습하지 않은 어휘를 효율적으로 처리하기 위해 필수적이며, 모델의 추론 속도와 성능에 직접적인 영향을 미친다.