Q, K, V 행렬
어텐션 연산에서 사용되는 쿼리(Query), 키(Key), 값(Value) 행렬을 의미한다. 쿼리는 질문, 키는 데이터의 특징, 값은 실제 정보를 나타내며 이들의 상호작용으로 문맥을 파악한다. 기존 모델에서는 이들을 별도의 행렬로 학습시켜 파라미터 수가 증가하는 원인이 되었다.
Q, K, V 행렬을 하나로? 어텐션 파라미터 67% 줄이고 CPU에서 초당 700토큰 뽑아내기