직교 임베딩
벡터 공간에서 서로 수직인 방향을 가져 상관관계가 0인 상태의 임베딩이다. 본문에서 학습된 깊이 임베딩이 이러한 직교성을 띠는 것은 모델이 각 계층을 연속적인 수치가 아닌 독립적인 범주로 명확히 구분하여 인식하고 있음을 의미한다. 이는 트리 구조의 층위 간 혼선을 방지하는 데 중요하다.