attention-score

트랜스포머 아키텍처에서 특정 토큰이 다른 토큰들과 가지는 연관성의 강도를 수치화한 것입니다. 이 논문에서는 쿼리 토큰과 문서 토큰 사이의 어텐션 강도를 분석하여 둘 사이의 실제 관련성을 측정하는 핵심 지표로 활용합니다.