hybrid-attention-mask

데이터 유형에 따라 양방향 또는 인과적 어텐션을 선택적으로 적용하는 기술이다. 이미지 토큰에는 양방향 어텐션을 적용해 전역적 시각 정보를 추출하고, 텍스트 토큰에는 인과적 어텐션을 적용해 순차적 예측을 수행한다. 단일 백본으로 인코딩과 디코딩 역할을 동시에 수행하게 하는 핵심 메커니즘이다.