Gated DSA
Gated DeepSeek Sparse Attention
DeepSeek 아키텍처에서 영감을 받은 희소 어텐션 메커니즘. IndexCache를 활용해 레이어 간 sparse 인덱스를 재사용함으로써 연산 비용을 줄이고 정보 흐름을 최적화함.
Gated DeepSeek Sparse Attention
DeepSeek 아키텍처에서 영감을 받은 희소 어텐션 메커니즘. IndexCache를 활용해 레이어 간 sparse 인덱스를 재사용함으로써 연산 비용을 줄이고 정보 흐름을 최적화함.
