rotary-positional-embeddings

Rotary Positional Embeddings는 토큰간 상대적 위치 정보를 내재화하기 위해 쿼리·키 벡터의 회전 형태로 위치 인코딩을 적용하는 방식이다. 해당 방식은 긴 컨텍스트에서도 위치 정보를 보존하고 extrapolation 성능을 개선하는 특성이 있어 긴 시퀀스 작업에 자주 적용된다. 본 게시물에서는 NTK 인식 스케일링과 결합되어 동적 스케일을 적용했다고 기술되어 있다.