tokenizer-free-language-models
토크나이저 없는 언어 모델
바이트 단위로 입력을 처리하고 subword 토큰화를 사용하지 않는 언어 모델의 범주로, patch-based byte-level 접근과 결합되어 긴 바이트 시퀀스의 효율적 처리를 가능하게 한다.
토크나이저 없는 언어 모델
바이트 단위로 입력을 처리하고 subword 토큰화를 사용하지 않는 언어 모델의 범주로, patch-based byte-level 접근과 결합되어 긴 바이트 시퀀스의 효율적 처리를 가능하게 한다.
