mamba-2

Mamba-2는 순환 상태를 이용해 시퀀스 혼합을 수행하는 레이어 설계로, 전체 어텐션의 N² 연산을 피하고 상태 크기를 고정시켜 긴 문맥에서의 메모리·추론 비용을 낮춘다. 이 논문에서는 주로 시퀀스 혼합을 Mamba-2가 담당하여 KV 캐시 증가를 억제하는 역할을 했다.