고정 KV 어텐션
어텐션 메커니즘에서 Key와 Value 프로젝션 행렬을 학습하지 않고 고정된 무작위 행렬로 사용하는 방식이다. 파라미터 수를 줄이면서도 입력 데이터의 특징을 유지하는 데 목적이 있다.
CPU에서 초당 2만 토큰 처리? 레저버와 어텐션의 혁신적 결합