gated-cross-attention
게이트형 교차 어텐션
텍스트 은닉 상태를 query로 사용하고 시각 토큰을 key·value로 참조하는 Attention 구조입니다. tanh 게이트를 곱해 시각 정보의 영향력을 조절하며, 게이트를 0에서 시작하면 기존 언어 모델의 동작을 유지한 채 시각 연결부를 학습할 수 있습니다.
게이트형 교차 어텐션
텍스트 은닉 상태를 query로 사용하고 시각 토큰을 key·value로 참조하는 Attention 구조입니다. tanh 게이트를 곱해 시각 정보의 영향력을 조절하며, 게이트를 0에서 시작하면 기존 언어 모델의 동작을 유지한 채 시각 연결부를 학습할 수 있습니다.
