partial-rope
부분 RoPE
RoPE 주파수 스펙트럼을 구성한 뒤 상위 또는 후반 주파수의 일부를 0으로 둬 회전(rotation)을 적용하지 않는 차원들을 만드는 기법입니다. DiffusionGemma에서는 full-attention 레이어의 RoPE에서 앞부분 25% 주파수만 유효하게 남기고 나머지는 회전을 무효화해 위치 민감 표현과 비위치 표현을 같은 헤드 안에서 공존시킵니다. 이 방식은 위치 의존성의 일부만을 유지하며 로컬·글로벌 특징을 동시에 다루는 목적에 맞추어 설계되어 있습니다.
