qkv
쿼리·키·값(QKV)
어텐션 계산에서 각 토큰이 자신의 질의(Query)를 던지고 다른 토큰이 간단한 식별자(Key)로 응답하며, 선택된 토큰은 상세 정보(Value)를 제공하는 역할 분담 방식이다. Query와 Key의 내적으로 유사도를 계산하고 softmax로 가중치를 얻어 Value의 선형결합을 출력으로 생성한다.
쿼리·키·값(QKV)
어텐션 계산에서 각 토큰이 자신의 질의(Query)를 던지고 다른 토큰이 간단한 식별자(Key)로 응답하며, 선택된 토큰은 상세 정보(Value)를 제공하는 역할 분담 방식이다. Query와 Key의 내적으로 유사도를 계산하고 softmax로 가중치를 얻어 Value의 선형결합을 출력으로 생성한다.