yarn

RoPE(Rotary Positional Embeddings)를 확장하여 모델이 학습 시보다 훨씬 긴 컨텍스트를 이해할 수 있도록 하는 위치 인코딩 외삽 기법이다. 미세 조정 없이도 긴 문맥 정보를 효과적으로 보존할 수 있게 돕는다.