긴 문맥에서 RoPE의 한계—위치와 토큰 구분 실패를 증명
RoPE가 긴 컨텍스트를 다룰 때 위치 식별과 토큰 식별 두 가지 핵심 목표를 동시에 달성하기 어렵다는 이론적 증거를 제시한다. 컨텍스트 길이가 늘어날수록 RoPE의 인덕티브 바이어스가 약해지고 예측 불가능해지며, 결과적으로 긴 문맥에서의 정확한 위치/토큰 구분이 손실된다. 이로 인해 길이 확장에만 의존하는 접근법의 한계가 뚜렷해지며, 새로운 위치 인코딩 기제가 필요하다는 시사점을 제공한다.