cross-attention-pooling

가변 길이의 히든 상태를 고정 길이 표현으로 요약하기 위해 학습된 쿼리 벡터들이 궤적 위치들을 키/값으로 삼아 어텐션을 수행하고 가중합을 만들어내는 기법이다. 이 결과를 MLP에 전달해 하나의 스칼라 rerun-consistency 예측을 얻는다.