byte-pair-encoding

가장 빈번하게 등장하는 바이트 쌍을 반복적으로 병합하여 어휘 사전을 구축하는 알고리즘입니다. 언어 특성에 맞는 맞춤형 토크나이저를 학습시킬 때 주로 사용됩니다.