바이트 단위 BPE 토크나이저
Byte-level BPE는 텍스트를 바이트 시퀀스로 처리한 뒤 BPE 병합 규칙을 적용해 어휘를 구성하는 방식으로, 비정형 입력과 유니코드 문제에 강점이 있다. 바이트 수준에서 토큰화를 수행하므로 특수문자와 희귀어 처리에서 일관성이 제공되고, 원문에서는 커스텀 구현과 함께 메모리 매핑된 데이터셋과 결합해 사용되었다. 저장소 맥락에서는 'zero bloat' 목표 하에 자체 구현된 핵심 컴포넌트로 자리잡고 있다.
