로터리 위치 인코딩 (rotary-positional-encoding) 용어 설명 | AI Trends
rotary-positional-encoding
로터리 위치 인코딩
중급
토큰의 상대적·절대적 위치 정보를 주입하는 기법으로, 주로 Transformer의 attention에서 위치를 구분하기 위해 쌍별 회전 변환을 적용한다. 이 논문에서는 video token과 reference image token이 서로 다른 RoPE 공간에 배치되어 주제 수준(subject-level) 거리 관계를 명시적으로 조절하는 데 사용된다.