rotary-positional-embeddings-rope
RoPE(로터리 위치 인코딩)
RoPE는 토큰 위치 정보를 attention 연산 내의 쿼리·키에 회전 변환으로 주입하는 방식으로 구현된다. 위치에 따른 내적 관계를 코사인·사인 회전으로 표현해 긴 컨텍스트에서도 상대적 위치 정보를 보존하는 특성이 있다. 긴 문맥을 다루는 생성 모델에서 위치 일반화와 extrapolation 성능을 개선하는 용도로 사용된다.
RoPE(로터리 위치 인코딩)
RoPE는 토큰 위치 정보를 attention 연산 내의 쿼리·키에 회전 변환으로 주입하는 방식으로 구현된다. 위치에 따른 내적 관계를 코사인·사인 회전으로 표현해 긴 컨텍스트에서도 상대적 위치 정보를 보존하는 특성이 있다. 긴 문맥을 다루는 생성 모델에서 위치 일반화와 extrapolation 성능을 개선하는 용도로 사용된다.
