SentencePiece BPE
SentencePiece의 BPE(Byte-Pair Encoding) 방식은 단어 경계에 의존하지 않고 서브워드 단위를 학습해 희귀 표기와 변형을 포착한다. Arabizi처럼 문자가 혼합된 저자원 언어에서는 숫자·특수기호를 보호 토큰으로 지정해 의미 단위를 보존하는 방식이 효과적이다. 게시물에서는 보호 기호를 설정한 16k 어휘로 토크나이저를 학습해 이후 모델 입력에 사용했다.