의미론적 불변성
문장의 표면적인 어순이나 표현 방식이 바뀌더라도 그 근본적인 의미는 동일하게 유지되어야 한다는 개념이다. 현재의 트랜스포머는 텍스트의 외형적 변화에 따라 의미 해석이 달라지는 한계를 보인다.