recursive-transformer

트랜스포머의 레이어를 새로 쌓는 대신 기존 레이어를 반복적으로 통과시켜 파라미터 수를 획기적으로 줄이는 아키텍처이다. 동일한 가중치를 여러 번 사용하여 모델의 크기를 경량화하면서도 연산의 깊이를 확보할 수 있는 장점이 있다.