임베딩 분해
임베딩 행렬을 두 개의 작은 행렬의 곱으로 분해하여 파라미터 수를 획기적으로 줄이는 기법이다. 모델의 전체 크기를 줄이면서도 단어 간의 관계를 효과적으로 학습할 수 있어 초소형 모델 설계에 필수적이다.