기하 대수 트랜스포머
기하학적 대수 구조를 트랜스포머 아키텍처에 통합하여 데이터의 공간적 관계를 더 효율적으로 학습하려는 시도이다. GATr이나 Versor와 같은 모델들이 이 범주에 속하며 물리적 세계의 대칭성이나 구조를 보존하는 데 유리하다.