캐릭터 레벨 모델링
텍스트를 단어 단위가 아닌 개별 문자 단위로 처리하여 다음 문자를 예측하는 모델링 방식이다. 어휘집 크기를 줄일 수 있지만 시퀀스 길이가 길어져 연산 부담이 크다는 특징이 있다.
CPU에서 초당 2만 토큰 처리? 레저버와 어텐션의 혁신적 결합