본문으로 건너뛰기

qkv

쿼리·키·값(QKV)

어텐션 계산에서 각 토큰이 자신의 질의(Query)를 던지고 다른 토큰이 간단한 식별자(Key)로 응답하며, 선택된 토큰은 상세 정보(Value)를 제공하는 역할 분담 방식이다. Query와 Key의 내적으로 유사도를 계산하고 softmax로 가중치를 얻어 Value의 선형결합을 출력으로 생성한다.