바이트 페어 인코딩
가장 빈번하게 등장하는 문자 쌍을 반복적으로 병합하여 토큰을 생성하는 서브워드 토큰화 알고리즘이다. 어휘 사전 크기를 효율적으로 관리하면서도 미등록 단어 문제를 해결하는 데 널리 사용되는 표준 기술이다.