헤드 단위 표현 정렬
Transformer의 개별 attention head 출력에 대응하는 표현을 대상으로 외부 비전 인코더와의 국소적 이웃 구조를 맞추는 정렬 기법이다. 각 헤드에서 추출한 표현을 출력 프로젝션 블록으로 투사한 뒤 contrastive objective를 적용해 해당 헤드의 이웃 구조가 비전 쪽과 일치하도록 유도한다. 본문에서는 이 접근이 고정 레이어 정렬보다 언어모델의 언어 성능을 덜 해치면서 비전 성능을 향상시킴이 확인됐다.