표현력 제약
신경망 모델이 구조적 한계(예: 고정된 레이어 깊이)로 인해 특정 복잡도의 논리 연산이나 상태 추적을 수행하지 못하는 수학적 제약을 의미합니다. 본 논문에서는 트랜스포머의 이러한 한계를 지적합니다.