멀티모달 LLM의 시각 정보 처리 다시 생각하기

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

LLaViT는 LLM을 Vision Transformer처럼 동작시키는 설계로 시각용 별도 QKV 투영, 시각 토큰에 대한 양방향 어텐션, 전역과 지역 시각 표현 통합을 적용했다. 입력 이미지가 패치로 토큰화된 뒤 별도 투영과 양방향 어텐션, 표현 병합을 거쳐 멀티모달 출력이 생성되는 처리 파이프라인이 구현되었다. 통제된 실험에서 LLaViT는 LLaVA 기준선보다 다양한 벤치마크에서 우수했으며 파라미터가 두 배인 모델을 능가한 사례가 보고되었다.

빠른 이해

새로운 점

원문은 LLM을 단순 생성·이해 엔진이 아니라 자체적으로 비전 인코더 역할을 하도록 내부 구조를 재설계한 점을 새로움의 신호로 제시했다. 이 변화는 모달리티 간 불일치를 처리하는 방식의 전환으로 나타났다. 통제된 비교 실험에서 기존 방식 대비 성능 우위를 보였다는 점이 새로움의 근거로 제시되었다.

핵심 메커니즘

입력 이미지가 패치로 분할되어 시각 토큰으로 변환되면 LLaViT는 이 토큰에 대해 별도의 QKV 선형 투영을 적용하여 쿼리·키·밸류를 생성한다. 생성된 시각 쿼리·키·밸류는 양방향 어텐션 경로를 통해 텍스트 토큰과 상호작용하며 전역 표현과 지역 표현이 별도 토큰 또는 병합 층에서 결합되어 최종 멀티모달 표현을 출력한다. 이 처리 흐름은 텍스트 중심 투영과 시각 투영의 충돌을 줄이고 다양한 추론 수준에서 더 풍부한 시각 정보를 제공하는 것을 목표로 한다.

섹션별 상세

문제 제기와 접근 방향

LLaVA 아키텍처는 vision-language 과제에서 성과를 냈지만 텍스트와 비전 모달리티 사이의 표현 불일치가 통합 성능의 병목으로 남아 있었다. 본문은 이 문제를 해결하기 위해 LLM을 단순한 언어 처리기에서 벗어나 강력한 비전 인코더로 확장하는 관점을 취했다. 입력 이미지가 패치화되어 생성된 시각 토큰을 LLM 내부에서 어떻게 처리할지 설계 방향을 설명했고, 이 과정에서 텍스트와 시각 정보의 상호작용을 재설계할 필요성을 제시했다. 이 섹션은 문제의 맥락과 LLaViT로 전환해야 하는 이유를 구현 관점에서 정리했다.

LLaViT의 구조적 변경과 처리 흐름

LLaViT는 세 가지 핵심 변경으로 동작 방식을 재정의했다. 첫째, 시각 모달리티에 대해 별도의 QKV 투영을 학습하여 이미지에서 생성된 쿼리·키·밸류가 텍스트용 투영과 충돌하지 않도록 했다. 둘째, 시각 토큰에 양방향 어텐션을 허용하여 시각 토큰이 텍스트 토큰을 참조하고 텍스트 토큰이 시각 토큰을 참조하는 상호작용 경로를 구성했다. 셋째, 전역 표현(이미지 전체의 요약)과 지역 표현(패치 단위 특징)을 동시에 통합하여 다양한 추론 단계에서 필요한 수준의 시각 정보를 공급하도록 설계했다. 입력으로 이미지 패치와 텍스트를 받고 내부에서 별도 투영·어텐션·병합을 거쳐 멀티모달 출력이 생성되는 처리 파이프라인이 구현되었다.

근거

LLaViT의 핵심 변경은 시각 모달리티용 별도 QKV 투영, 시각 토큰에 대한 양방향 어텐션 허용, 전역 및 지역 시각 표현 통합이다. — 아키텍처 설계 항목에서 세 가지 구조적 변경을 나열하고 각각의 처리 역할을 기술함

통제된 실험과 성능 근거

저자들은 여러 LLM을 대상으로 통제된 실험을 수행하여 LLaViT의 성능을 평가했다. 실험 결과 LLaViT는 LLaVA 기준선보다 다양한 벤치마크에서 유의미하게 우수했으며, 이 중 일부 사례에서는 파라미터 수가 두 배인 모델도 능가한 결과가 보고되었다. 원문은 실험 설계가 광범위한 LLM군을 포함했다고 기술했고 결과 해석은 동일한 입력·데이터셋·평가 지표 하에서의 비교를 기반으로 이루어졌다. 이 섹션은 실험 입력, 처리 절차, 출력 성능 비교라는 순서로 근거를 제시했다.

근거

LLaViT는 통제된 실험에서 LLaVA보다 다양한 벤치마크에서 유의미하게 성능이 향상되었고 파라미터가 두 배인 모델들도 능가했다. — 광범위한 LLM을 대상으로 한 통제된 실험 및 벤치마크 성능 비교; 실험 결과는 원문 내 성능 표와 비교 문장 형태로 제시됨

용어 해설

LLaViT: — LLaViT는 대형 언어 모델을 Vision Transformer로 확장한 설계이다. 이 설계는 LLM이 비전 인코더로 동작하도록 시각용 QKV 투영을 별도 학습하고, 시각 토큰에 양방향 어텐션을 허용하며, 전역과 지역 시각 표현을 통합하는 세 가지 구조적 변경을 포함한다. 이러한 구조로 텍스트·이미지 간 모달리티 불일치 문제를 완화한다.
LLaVA: — LLaVA는 vision-language 과제를 대상으로 널리 사용되는 기존 아키텍처이다. 원문은 LLaVA가 텍스트 기반 LLM과 비전 모듈을 결합하는 방식이지만 텍스트·비전 표현 간 불일치로 한계가 있다고 지적했다. 본 논문은 LLaVA와 성능을 비교하는 기준선으로 해당 설계를 사용했다.
Vision Transformer: — Vision Transformer는 이미지 패치를 토큰화하여 Transformer로 처리하는 구조이다. 입력 이미지가 패치로 분할되어 토큰으로 변환되고, 이 토큰들에 대해 self-attention이 수행되어 공간적 특징이 추출된다. LLaViT는 이 방식과 LLM의 토큰 처리 메커니즘을 융합한다.
QKV 투영(QKV projections): — QKV 투영은 Transformer 어텐션에서 쿼리(query), 키(key), 밸류(value)를 생성하는 선형 변환이다. 원문은 시각 모달리티에 대해 별도의 QKV 투영을 학습하면 시각 표현이 텍스트 표현과 충돌하지 않는다고 기술했다. 따라서 입력 이미지 패치로부터 생성된 시각 토큰이 전용 투영을 통해 어텐션에 참여한다.
양방향 어텐션(Bidirectional attention): — 양방향 어텐션은 시각 토큰과 텍스트 토큰 사이에서 상호 참조가 가능한 어텐션 흐름이다. 논문은 시각 토큰이 LLM 내부에서 단방향이 아니라 양방향으로 정보 흐름을 가질 때 멀티모달 통합이 개선된다고 보고했다. 구현 측면에서는 시각 토큰이 다른 토큰과 동시에 쿼리와 키/밸류 역할을 수행하도록 어텐션 마스크를 조정한다.
전역 및 지역 시각 표현(Global and local visual representations): — 전역 표현은 이미지 전체의 요약 특징을 의미하고 지역 표현은 패치 단위의 세부 특징을 의미한다. 논문은 두 수준의 표현을 동시에 통합하면 서로 다른 추론 요구에 대해 더 풍부한 컨텍스트가 제공된다고 기술했다. 통합은 별도의 토큰 설계와 병합 메커니즘으로 구현된다.

기술

Vision Transformer
QKV projections
bidirectional attention
visual tokens
LLM
LLaVA
LLaViT

언급된 리소스

문서Rethinking visual information processing in multimodal LLMs (Kim et al., 2026)