한 토큰씩 주목하기: 생성 중 멀티모달 LLM의 토큰 단위 어텐션 동역학 분석

왜 중요한가

멀티모달 대형 언어 모델은 생성 과정에서 시각 정보와 언어 정보를 한 응답 내에서 교차적으로 사용하므로 토큰 단위의 동적 정보 흐름 이해가 성능 안정화에 필수적이다. 본 연구는 생성 중 각 토큰이 어떤 청크에 주목하는지를 계량화하고 인과적 개입을 통해 그 기능적 역할을 검증하여 단순 관찰을 넘어 원인-결과 관계를 밝힌다. 이러한 통찰은 모델의 잘못된 모달리티 의존성이나 전이 실패를 발견하고 시점 민감한 개입으로 성능을 향상시키는 실무적 방법을 제공한다.

핵심 기여

토큰 단위 어텐션 동역학(OTaT) 프레임워크 제안

모델이 autoregressive 생성 과정에서 현재 생성 중인 토큰(CGT)의 어텐션을 이미지, 텍스트, 지시문, 이전 토큰 등 의미적 청크로 집계하는 수치화 방법을 제안했다. 이 방법은 레이어와 헤드를 평균화하여 데이터셋 수준의 일관된 패턴을 추출하도록 설계되었고 응답 역할별 토큰 그룹화를 통해 서로 다른 길이의 응답을 정렬 가능하게 만들었다. 수식화된 집계식 α_t(c_k)를 통해 청크별 시간적 변화와 피크를 분석할 수 있음을 보였다.

인과적 어텐션 차단과 증폭을 통한 기능 검증

어텐션 패턴 관찰만으로는 기능적 중요도를 단정할 수 없기 때문에 lazy blocking과 총체적(total) blocking을 정의하여 인과적 차단 실험을 수행했다. 차단은 특정 청크가 실제로 정보 전달에 기여하는지를 검증했고 이미지 차단 시 언어 우선성, 교차모달 누수, 부정(denial), 회복(recovery) 등 모델별 상이한 실패 양상이 관찰되었다. 반대로 역할 기반으로 시점에 맞춘 어텐션 증폭은 무차별 증폭과 달리 성능을 유의하게 향상시켰다.

진단용 Fruit-Math 데이터셋과 태깅 기반 집계 절차

이미지와 텍스트 정보가 의도적으로 비중첩되도록 한 Fruit-Math(Fr-Ma) 진단 과제를 설계하여 모달리티 기여를 분리 가능한 형태로 만들었다. 응답의 기능적 역할(예: Fruit Intro, Fruit Concept, Handoff, Math Answer 등)을 기준으로 토큰을 태깅하고 동일 역할 토큰의 어텐션을 평균화하여 데이터셋 차원의 합리적 통계를 얻었다. 이 절차는 ChartQA와 VSR과 같은 실제 벤치마크로도 일반화되어 동일 패턴이 유지됨을 확인했다.

테스트 시점 역할 기반 어텐션 증폭으로 VSR 성능 개선

VSR(Visual Spatial Reasoning)에서 역할 불일치로 인해 성능이 낮았던 모델에 대해 첫 ISR 또는 TSR 토큰 시점에 적절한 모달리티를 선택해 증폭하는 간단한 개입을 적용했다. 이 개입은 무차별 이미지 증폭이 성능을 떨어뜨린 반면 역할-민감 증폭은 LOV-7B에서 VT-Acc를 +28.5% 개선하는 등 유의한 향상을 보였다. 증폭 인자 γ에 대한 민감도 실험에서 모델군별 최적 근사값을 제시하여 실용적 가이드를 제공했다.

핵심 아이디어 이해하기

Transformer 기반의 MLLM은 입력 컨텍스트로 이미지 임베딩과 텍스트 토큰을 결합한 상태에서 autoregressive 방식으로 하나의 토큰씩 출력을 생성한다. 이때 현재 생성 중인 토큰(CGT)은 이전 생성 토큰과 정적 컨텍스트에 대해 어텐션 쿼리를 수행하며, CGT가 어느 청크에 주목하는지는 그 토큰의 의미적 역할과 생성 맥락에 의해 동적으로 결정된다. 기존 연구는 레이어나 헤드 수준의 정적 분석에 집중했으나 생성 시간에 따른 토큰 단위 동역학은 생성 행동을 이해하는 데 핵심적이다.

방법론

전체 접근은 세 단계로 구성된다. 먼저 입력 컨텍스트를 이미지, 텍스트, 지시문, 이전 토큰 등 의미적 청크로 분할하고 각 청크의 시작-끝 인덱스를 정의한다. 둘째로 모든 레이어와 헤드의 post-softmax 어텐션을 평균화하여 CGT가 각 청크에 할당한 어텐션 질량 α_t(c_k)를 수치화한다. 셋째로 생성된 응답의 토큰들을 역할별로 태깅하여 동일한 역할을 수행하는 토큰들에 대한 어텐션을 집계함으로써 데이터셋 수준의 시간적 패턴을 얻는다.

주요 결과

데이터셋 수준 분석에서 모델들은 토큰 의미에 따라 모달리티를 재분배하는 일관된 패턴을 보였다. 예컨대 Fruit-Math에서 과일 이름을 생성할 때 이미지 청크에 대한 어텐션이 피크를 보였고 수학 정답을 생성할 때는 텍스트 청크에 대한 어텐션이 피크를 보였다. 이러한 패턴은 LOV와 QVL 계열의 여러 크기 모델에서 재현되었고 응답 순서를 뒤바꾼 실험에서도 어텐션 추세가 대응하여 반전되어 나타났다.

기술 상세

아키텍처 관점에서 MLLM은 세 모듈로 구성된다. 첫째로 이미지 패치를 잠재 공간으로 인코딩하는 비전 인코더가 있고 둘째로 그 시각 임베딩을 LLM 토큰 임베딩 공간으로 정렬하는 modality projector가 존재하며 셋째로 autoregressive 디코더(LLM)가 통합된 토큰 시퀀스를 받아 다음 토큰을 생성한다. 본 연구는 디코더의 masked attention 텐서 A_t ∈ ℝ^{L×H×N×N}를 이용해 CGT의 어텐션을 집계한다.

한계점

논문은 역할 기반의 전역 어텐션 증폭을 사용했고 레이어-헤드 수준의 정밀한 개입 설계는 범위를 벗어난 것으로 명시되어 있다. 실험은 공개된 오픈 웨이트 MLLM에 한정되며 사설 모델이나 다른 아키텍처에서의 일반성은 추가 검증이 필요함이 언급되어 있다. 또한 테스트 시점 개입의 최적화는 모델군별 민감도에 따라 달라질 수 있으며 과도한 증폭은 성능 저하를 유발한다는 관찰을 보고했다.

실무 활용

논문은 역할 기반 토큰 시점에서 모달리티 어텐션을 증폭하면 멀티모달 과제 성능을 즉시 개선할 수 있음을 실험적으로 보였다. 특히 VSR에서 상황에 맞는 모달리티 증폭은 일부 모델에서 대규모 성능 향상을 가져왔다. 이 방식은 모델 내부 구조를 수정하지 않고 테스트 시점에 적용 가능한 경량 개입이라는 점에서 실무에 적용 가능성이 있다.

대화형 멀티모달 시스템에서 특정 질문 유형에 따라 이미지 또는 텍스트 모달리티로의 주의를 강화해 응답 정확도를 높이는 상황.
엔터프라이즈 VQA 파이프라인에서 중요한 질의 토큰에 대해 역할 기반 증폭을 적용하여 민감한 정보의 외삽 오류를 줄이는 상황.
모델 디버깅 단계에서 인과적 차단을 통해 어떤 청크가 실패 원인인지 규명하고 그 결과에 맞춘 테스트 시점 개입을 설계하는 상황.

코드 공개 여부: 미확인

키워드

multimodal large language models(멀티모달 대형 언어 모델)attention dynamics(어텐션 동역학)causal attention blocking(인과적 어텐션 차단)test-time intervention(테스트 시점 개입)fruit-math(진단용 데이터셋)

용어 해설

현재 생성 중인 토큰(CGT (Currently Generating Token)): — CGT는 autoregressive 디코딩에서 모델이 다음에 생성하려는 위치의 토큰 쿼리를 의미한다. CGT는 이전 출력과 정적 컨텍스트를 기반으로 QKV 어텐션의 쿼리 벡터를 형성하며 각 디코딩 스텝에서 모달리티별 주의 분배를 산출하는 중심축이다. 본 논문에서는 CGT의 어텐션을 모아 이미지, 텍스트, 지시문, 이전 생성 토큰에 대한 토큰별 동역학을 분석하는 단위로 사용한다.
인과적 어텐션 차단(Causal Attention Blocking): — 인과적 어텐션 차단은 특정 의미적 청크가 이후의 모든 생성 토큰으로 정보를 전파하지 못하게 어텐션 맵을 영으로 설정하는 개입 방식이다. 논문은 lazy blocking과 총체적(total) blocking을 구분하여 중간 레이어의 정보 누수를 막는 총체적 차단이 실제로 정보 흐름을 차단함을 검증했다. 이 기법은 어텐션이 기능적으로 중요한지 인과적으로 입증하기 위한 실험적 도구로 사용되었다.
어텐션 증폭(Attention Boosting): — 어텐션 증폭은 특정 디코딩 시점에 대상 청크의 post-softmax 어텐션 가중치를 배수로 증가시키고 정규화하여 해당 모달리티로의 주의를 강화하는 테스트 시점 개입이다. 논문은 청크별 원래 어텐션 질량 α_t(c_k)와 증폭 인자 β를 사용해 유효 증폭 γ_k를 유도하고, 역할 기반 시점에만 증폭할 때 유의미한 성능 향상이 관찰된다고 보고했다. 전층 전헤드에 대해 균일하게 적용하였고 과도한 증폭은 성능 저하를 유발함이 확인됐다.

한 토큰씩 주목하기: 생성 중 멀티모달 LLM의 토큰 단위 어텐션 동역학 분석

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드