query-head

Query Head는 Multi-Head Attention에서 각기 다른 서브공간을 담당하는 쿼리 생성 경로로, 입력 임베딩→헤드별 선형 변환(쿼리)→헤드별 어텐션 계산→합산의 처리 단위를 형성한다. 헤드 단위로 활성화·비활성화를 제어하면 특정 연산만 선택적으로 수행할 수 있다.