xlstm

기존 LSTM의 스칼라 상태를 행렬 상태로 확장하고 지수형 입력 게이트를 도입한 구조다. Transformer의 Attention과 유사한 표현력을 가지면서도 연산 복잡도가 시퀀스 길이에 선형적으로 비례하여 긴 문맥 처리에 유리하다.