Self-Discovered Subword Tokenizer
동적 하위단어 토크나이저
학습 도중 빈도나 통계적 기준으로 하위단어 단위를 점진적으로 탐색·추가하여 어휘를 성장시키는 토크나이저 설계이다. 초기에는 작은 단위에서 시작해 학습 중 발생하는 문자열 패턴을 기반으로 병합·분할 규칙을 적용해 새로운 토큰을 생성하며, 이 과정은 어휘 크기와 표현력의 자동 조정을 허용한다. 구현 세부는 병합 기준과 임계값이 성능에 결정적이다.
동적 하위단어 토크나이저
학습 도중 빈도나 통계적 기준으로 하위단어 단위를 점진적으로 탐색·추가하여 어휘를 성장시키는 토크나이저 설계이다. 초기에는 작은 단위에서 시작해 학습 중 발생하는 문자열 패턴을 기반으로 병합·분할 규칙을 적용해 새로운 토큰을 생성하며, 이 과정은 어휘 크기와 표현력의 자동 조정을 허용한다. 구현 세부는 병합 기준과 임계값이 성능에 결정적이다.
