bpe-pre-tokenizer
BPE 프리토크나이저
BPE 기반 토크나이저는 입력 텍스트를 작은 단위로 분해하고 병합 규칙에 따라 토큰을 생성하기 때문에 토큰 경계가 단어 경계와 항상 일치하지 않는다. 게시물에서는 'pre-tokenizer가 단어 경계에서 병합을 허용하지 않음'을 이용해 고정 길이 단어를 하나의 토큰으로 취급하는 전략을 설명한다. 이 방식은 바이트 압축 결과를 토큰 채널로 안전하게 옮기려는 설계적 전제가 된다.
BPE 프리토크나이저
BPE 기반 토크나이저는 입력 텍스트를 작은 단위로 분해하고 병합 규칙에 따라 토큰을 생성하기 때문에 토큰 경계가 단어 경계와 항상 일치하지 않는다. 게시물에서는 'pre-tokenizer가 단어 경계에서 병합을 허용하지 않음'을 이용해 고정 길이 단어를 하나의 토큰으로 취급하는 전략을 설명한다. 이 방식은 바이트 압축 결과를 토큰 채널로 안전하게 옮기려는 설계적 전제가 된다.
