동적 하위단어 토크나이저
학습 도중 빈도나 통계적 기준으로 하위단어 단위를 점진적으로 탐색·추가하여 어휘를 성장시키는 토크나이저 설계이다. 초기에는 작은 단위에서 시작해 학습 중 발생하는 문자열 패턴을 기반으로 병합·분할 규칙을 적용해 새로운 토큰을 생성하며, 이 과정은 어휘 크기와 표현력의 자동 조정을 허용한다. 구현 세부는 병합 기준과 임계값이 성능에 결정적이다.