BPE 토크나이저
자주 등장하는 문자열 쌍을 병합하여 단어를 하위 단위로 분절하는 알고리즘이다. 어휘 사전 크기를 효율적으로 관리하면서도 미등록 단어 문제를 해결할 수 있어 현대 언어 모델에서 표준적으로 사용된다.
O(n²) 어텐션의 한계를 넘다: 파동 방정식과 FFT로 구현한 O(n log n) 모델