bpe
가장 빈번하게 등장하는 문자 쌍을 반복적으로 병합하여 토큰을 생성하는 서브워드 토큰화 알고리즘이다. 어휘 사전 크기를 효율적으로 관리하면서도 미등록 단어 문제를 해결하는 데 널리 사용되는 표준 기술이다.
어텐션 대신 파동 방정식을? 트랜스포머에 도전하는 Wave Field V3
O(n²) 어텐션의 한계를 넘다: 파동 방정식과 FFT로 구현한 O(n log n) 모델