semantic-shift
컨텍스트 확장 과정에서 어텐션 패턴이 왜곡되어 모델이 단어의 의미적 관계를 잘못 파악하게 되는 현상이다.
학습은 RoPE로 추론은 NoPE로? Sakana AI의 획기적 컨텍스트 확장