zero-shot-extension
추가적인 학습이나 파인튜닝 없이 모델의 기존 능력을 활용하여 더 긴 시퀀스를 처리하도록 확장하는 방식이다.
학습은 RoPE로 추론은 NoPE로? Sakana AI의 획기적 컨텍스트 확장