qrhead

모델의 어텐션 헤드들 가운데 쿼리-대-문맥 어텐션을 검색기로 환산해 질의 관련성이 높은 헤드를 선별하는 방식이다. 선별된 헤드의 어텐션 점수를 토큰 스팬 단위로 집계하여 중요한 문맥 구간을 추출하는 데 사용된다. 긴 문맥에서 스팬 선택의 신호로 활용되며 헤드 안정성에 따라 성능 차이가 발생할 수 있다.