본문으로 건너뛰기

attention-geometry

어텐션 기하학

트랜스포머 모델 내에서 토큰 간의 관계를 정의하는 수학적 구조를 의미하며, RePo는 이를 동적으로 변형하여 관련성 높은 정보를 가깝게 배치한다.