RWKV
RNN의 효율성과 Transformer의 병렬 학습 능력을 결합한 아키텍처로, 선형 어텐션 메커니즘을 사용하여 긴 문맥 처리에 유리하다. v6 버전은 성능과 효율성이 더욱 개선된 최신 아키텍처이다.