rope-noposition-nope
NoPE (선택 레이어에서 위치 인코딩 제거)
RoPE(rotary positional encoding)를 일부 트랜스포머 계층에서 제거하는 접근법으로, SmolLM3는 3:1 비율로 RoPE를 유지하고 매 네 번째 레이어에서 RoPE를 빼어 긴 컨텍스트 일반화 성능을 개선합니다. 이 방식은 긴 시퀀스에서 위치 임베딩 열화 문제를 완화합니다.
NoPE (선택 레이어에서 위치 인코딩 제거)
RoPE(rotary positional encoding)를 일부 트랜스포머 계층에서 제거하는 접근법으로, SmolLM3는 3:1 비율로 RoPE를 유지하고 매 네 번째 레이어에서 RoPE를 빼어 긴 컨텍스트 일반화 성능을 개선합니다. 이 방식은 긴 시퀀스에서 위치 임베딩 열화 문제를 완화합니다.
