리 대수
연속적인 대칭성을 연구하는 수학적 구조로, 이 모델에서는 어텐션 가중치의 변환 규칙을 정의하는 데 사용된다. 기하학적 특성을 신경망 가중치에 직접 주입하여 학습 안정성을 높인다.
4,000만 파라미터로 대형 모델급 성능? 8차원 기하학을 적용한 새로운 LLM