bytelevel-bpe
바이트 수준 BPE
ByteLevel BPE는 텍스트를 바이트 단위로 처리한 뒤 반복되는 부분 문자열을 병합해 토큰을 만드는 방식이다. 글에서는 controlled English와 함께 사용한 기준 표현으로 등장하며 semantic token 기반 IR보다 조합적 holdout 성능이 약 40점 낮았다.
바이트 수준 BPE
ByteLevel BPE는 텍스트를 바이트 단위로 처리한 뒤 반복되는 부분 문자열을 병합해 토큰을 만드는 방식이다. 글에서는 controlled English와 함께 사용한 기준 표현으로 등장하며 semantic token 기반 IR보다 조합적 holdout 성능이 약 40점 낮았다.
