retrieval-head

대형 언어 모델의 수많은 어텐션 헤드 중에서 특히 외부 지식을 참조하거나 문맥 내의 특정 정보를 찾아내는 데 특화된 기능을 수행하는 헤드들을 지칭합니다. 모델의 추론 과정에서 검색 엔진과 유사한 역할을 담당합니다.