본문으로 건너뛰기

Constrained retokenize

제약된 재토큰화

제약된 재토큰화는 텍스트의 시각적 투영을 유지하면서 특정 위치에 Unicode 문자를 삽입해 tokenizer가 다른 토큰 배열을 만들도록 하는 처리다. 이 실험에서는 ASCII 문자 뒤에 U+034F 또는 U+FE00을 넣고 URL·코드·경로는 제외했다.