서브워드
단어를 더 작은 의미 단위나 문자 조합으로 쪼갠 토큰화 단위이다. 희귀 단어나 신조어 처리에 유연하며, 모델이 어휘 사전에 없는 단어를 만났을 때도 의미를 유추하거나 생성할 수 있게 돕는다.