문자 단위 모델링
텍스트를 단어나 토큰 단위가 아닌 개별 문자 단위로 처리하여 예측하는 방식이다. 어휘 사전의 크기를 획기적으로 줄일 수 있고 오타나 신조어 처리에 강점이 있지만 시퀀스 길이가 매우 길어지기 때문에 효율적인 연산 구조가 필수적으로 요구된다.