sliding-window-scoring
슬라이딩 윈도우 점수화
텍스트를 고정 길이 또는 중간 길이의 연속 토큰 창으로 분할해 각 창에 대해 평균 attention을 계산하는 절차이다. 본 논문에서는 probe 집합의 중앙값 창 길이를 W로 정하고 선택된 헤드의 평균 attention으로 각 창을 점수화해 텍스트 근거를 지역화했다. 창 단위 집계는 긴 문서에서 토큰 단위 잡음을 줄이고 근거 범위를 더 안정적으로 결정하는 데 기여했다.
슬라이딩 윈도우 점수화
텍스트를 고정 길이 또는 중간 길이의 연속 토큰 창으로 분할해 각 창에 대해 평균 attention을 계산하는 절차이다. 본 논문에서는 probe 집합의 중앙값 창 길이를 W로 정하고 선택된 헤드의 평균 attention으로 각 창을 점수화해 텍스트 근거를 지역화했다. 창 단위 집계는 긴 문서에서 토큰 단위 잡음을 줄이고 근거 범위를 더 안정적으로 결정하는 데 기여했다.
