계층 가중 결합
백본의 서로 다른 히든 레이어를 소프트맥스 가중치로 결합하여 클립 수준 표현을 얻는 방식으로, 단일 임의층 선택을 제거하고 레이어별 정보 중요도를 학습 가능한 파라미터로 둔다. 논문에서는 레이어 가중치를 학습해 모든 백본에 대해 256차원 클립 임베딩을 얻는 표준화 수단으로 사용된다. 이 방법은 레이어 선택을 고정하면 발생하는 성능 혼동을 완화하는 목적을 가진다.