QKV 어텐션
Query, Key, Value의 약자로 트랜스포머 모델이 입력 데이터의 관계를 파악하는 핵심 메커니즘이다. 이 요소들을 조정하여 모델의 추론 방식이나 집중도를 변경할 수 있다.
14B 모델의 스위트 스팟: SOLAR와 Granite의 추론 능력을 결합하다