Grouped Differential Attention

Signal Attention과 Noise Attention의 출력을 계산한 뒤 입력에 따라 정한 계수로 Noise 경로를 빼는 Attention 방식입니다. Signal head를 더 많이 배치하고 Noise head를 여러 Signal head에 공유해 선택성을 유지하면서 추가 계산량을 줄입니다.