헤드에 주목하라: 다중모달 대형 언어 모델을 위한 위상적 표현 정렬

멀티모달 LLM은 시각적 근거가 필요한 비전 중심 과제에서 언어적 편향으로 인해 오류를 범하는 경우가 많다. 본 논문은 언어 모델 내부의 개별 attention head를 외부 비전 인코더의 위상적 이웃 구조에 맞춰 정렬함으로써 시각 이해 능력을 향상시켰다. 이 접근은 언어 모델의 주요 언어 능력을 해치지 않으면서 시각적 환각을 줄이고 Vision-Centric 벤치마크에서 평균 +3.6점의 향상을 달성했다.

멀티모달 LLM은 텍스트 중심으로 사전학습되어 언어적 프라이어를 강하게 보유하고 있는 경우가 많다. 이러한 내부 조직은 레이어 단위의 고정된 표현 정렬이 언어 모델의 기존 기능과 충돌할 위험을 낳는다. 따라서 보다 미세한 수준인 attention head 단위에서 정렬을 제어하면 충돌을 줄이며 시각-언어 간 위상적 일관성을 보강할 수 있다.

HeRA는 표준 언어모델링 손실과 헤드 단위 대조 손실을 합한 복합 목적함수를 사용해 모델을 학습시킨다. 대조 손실은 각 배치에서 teacher vision encoder의 CLS 기반 임베딩으로부터 계산된 k-최근접 이웃들을 양성 표본으로 삼아 다중 타깃 InfoNCE 형태로 정의된다. 이렇게 하면 MKNN이 측정하는 로컬 이웃 일치를 미분 가능한 형태로 근사해 경사하강법으로 최적화가 가능해진다.

HeRA를 다양한 LLM 백본에 적용한 결과 Vision-Centric 벤치마크에서 평균 +3.6점의 향상이 확인되었다. Table 2와 Table 4에서 Qwen3-8B, Qwen2.5-14B 등 여러 모델이 시각 중심 항목에서 유의미한 상승을 보였고 대부분의 모델에서 General/Knowledge/OCR 점수는 유지되거나 소폭 개선되었다. 환각 관련 평가(CHAIR, AMBER, HallusionBench)에서도 대체로 CHAIR s·i 감소와 AMBER의 정확도 및 F1 향상 등으로 더 신뢰성 있는 시각적 응답을 생성하는 경향이 관찰되었다.

아키텍처 측면에서 MLLM은 사전학습된 LLM과 고정된 비전 인코더, 그리고 이 둘을 잇는 projector로 구성된다. HeRA는 언어 모델의 각 multi-head self-attention에서 h번째 head 출력 h_{l,h}을 출력 프로젝션의 블록 W_{O,h}로 투사해 d_G 차원 표현 M^{l,h}=h_{l,h}W_{O,h}을 얻는다. 이 투사된 head 수준 표현에 대해 배치 기반의 InfoNCE 대조 손실을 적용해 teacher vision encoder의 Top-k 이웃과의 유사도를 높이고 나머지 배치 샘플과 분리하도록 학습한다.

헤드 수를 지나치게 늘려 정렬을 적용하면 언어 모델의 핵심 언어 능력과 충돌하여 성능이 저하되는 현상이 관찰되었다. 논문에서 중앙값 이상의 헤드 여러 개를 동시 정렬할 경우 성능 저하가 발생했고, 실험에서는 m=5개의 최하위 정렬 헤드를 추천해 최적 성능을 얻었다. 또한 teacher vision encoder의 종류에 민감해 DINO 계열 teacher에서 일관된 이득이 관찰된 반면 SigLIP2 자체를 teacher로 사용할 때 효과가 제한적이었다.