AgilePruner: 대형 시각-언어 모델의 적응형 시각 토큰 프루닝을 위한 어텐션 및 다양성에 관한 경험적 연구

대형 시각-언어 모델(LVLM)이 처리해야 하는 시각 데이터가 늘어남에 따라 발생하는 연산 병목 현상을 해결하기 위한 연구이다. 기존의 단순한 토큰 제거 방식이 가진 한계인 환각 현상 증가 문제를 분석하고, 이미지의 복잡도에 따라 최적의 토큰을 선택하는 적응형 알고리즘을 통해 효율성과 정확도를 동시에 확보했다.

LVLM은 이미지를 수백 개의 '토큰'으로 쪼개어 처리하는데, 이 토큰들 사이의 관계를 계산하는 Attention 연산은 토큰 수의 제곱에 비례해 늘어난다. 기존에는 중요도가 높은 토큰만 남기거나(Attention-based), 서로 다른 특징을 가진 토큰을 골고루 남기는(Diversity-based) 방식을 썼지만, 각 방식이 어떤 이미지에서 유리한지는 명확하지 않았다.

연구진은 '이미지가 얼마나 복잡한가'를 기준으로 삼았다. 흰 배경에 사과 하나가 있는 단순한 이미지는 특정 부분에 정보가 집중되어 있어 어텐션 점수가 높은 토큰만 봐도 충분하다. 반면, 시장 풍경처럼 복잡한 이미지는 정보가 흩어져 있어 다양한 특징을 가진 토큰들을 골고루 챙겨야 모델이 상황을 오해하지 않는다.

이를 위해 erank라는 지표로 이미지의 정보 분산 정도를 측정했다. erank가 낮으면(단순하면) 어텐션 위주로 좁고 깊게 토큰을 뽑고, erank가 높으면(복잡하면) 유사도 임계값을 높여 서로 다른 정보를 가진 토큰들을 넓게 뽑도록 설계했다. 결과적으로 모델은 필요한 정보만 똑똑하게 골라내어 연산량은 줄이면서도 정확한 답변을 내놓게 된다.

전체 시스템은 입력 이미지의 특징 행렬 X로부터 erank를 계산하여 이미지의 복잡도를 먼저 파악한다. [특징 행렬 X를 입력으로] → [특이값 분해(SVD)를 통해 얻은 특이값들의 엔트로피를 계산해] → [erank 값을 얻고] → [이 값이 높을수록 이미지의 정보가 여러 차원에 골고루 퍼져 있음을 의미한다].

핵심 메커니즘인 적응형 유사도 임계값 설정은 계산된 erank를 기반으로 수행된다. [입력 이미지의 erank와 데이터셋 평균 erank의 비율을 입력으로] → [토큰의 어텐션 순위와 결합하여 선형 가중치를 적용해] → [동적 임계값 타우를 산출하고] → [이 임계값보다 코사인 거리가 가까운 토큰들을 제거함으로써 이미지 복잡도에 최적화된 토큰 세트를 구성한다].

구현 측면에서 erank 계산의 오버헤드를 줄이기 위해 N x D 행렬 대신 N x N 공분산 행렬을 사용하는 최적화 기법을 적용했다. [토큰 특징 행렬 X와 그 전치 행렬 X^T를 곱해] → [N x N 공분산 행렬을 만들고 고유값을 추출해] → [전체 추론 시간의 약 3.2% 수준인 3.4ms 내에 erank를 계산하며] → [실시간 추론 환경에서도 가볍게 동작하도록 구현했다].

LLaVA-1.5-7B 모델을 사용한 9개 멀티모달 벤치마크 평가에서 AgilePruner는 기존 기법들을 일관되게 압도했다. 특히 토큰을 64개로 대폭 줄였을 때(약 89% 감소), 기존 어텐션 기반 방식들이 25% 이상의 성능 하락을 보인 반면, 제안 기법은 단 3.24%의 하락만을 기록하며 높은 견고성을 증명했다.

환각 현상을 측정하는 CHAIR 벤치마크에서 AgilePruner는 Cs 52.2, Ci 15.9를 기록했다. 이는 토큰을 전혀 줄이지 않은 원본 모델(Cs 51.0, Ci 13.9)과 유사한 수준으로, 다양성 기반 프루닝 기법들이 흔히 겪는 환각 증가 문제를 효과적으로 억제했음을 보여준다.

효율성 분석 결과, RTX 4090 GPU 기준 576개의 토큰을 64개로 줄여 FLOPs를 89% 절감했다. 추론 지연 시간(Latency)은 172ms에서 115ms로 단축되었으며, erank 계산에 소요되는 추가 시간은 3.65ms(배치 사이즈 1 기준)에 불과해 실무적인 효율성을 입증했다.

본 연구는 시각 토큰의 특징 공간 기하학(Feature-space geometry)과 어텐션 분포의 상관관계를 분석했다. erank는 특징 행렬의 유효 차원 수를 나타내며, 이는 이미지의 의미론적 복잡도와 직결된다. 어텐션 엔트로피는 정보의 집중도를 나타내는데, 두 지표 사이의 피어슨 상관계수가 0.63으로 나타나 상호 보완적인 정보 분산 지표임을 확인했다.

제안된 AgilePruner는 토큰을 어텐션 점수 내림차순으로 정렬한 뒤, 각 토큰 주변의 유사한 토큰들을 제거하는 탐욕적(Greedy) 방식을 취한다. 이때 제거 기준이 되는 코사인 거리 임계값 타우를 이미지의 상대적 복잡도에 비례하도록 설정하여, 복잡한 이미지일수록 더 공격적으로 중복을 제거하고 다양한 토큰을 남기도록 유도한다.

기존의 하이브리드 방식들이 고정된 비율로 어텐션과 다양성 기반 토큰을 섞는 것과 달리, 본 방식은 입력 이미지의 통계적 특성에 따라 프루닝 강도를 동적으로 조절하는 'Image-aware' 접근법을 취한다. 이는 LLaVA-1.5 뿐만 아니라 Qwen2.5-VL 등 다양한 아키텍처에서도 일관된 성능 향상을 보여 모델 불가지론적(Model-agnostic) 특성을 가진다.

저복잡도 이미지에서 객체가 너무 많이 흩어져 있는 경우, 어텐션 집중 전략으로 인해 전체적인 공간 배치를 놓쳐 계수(counting) 오류가 발생할 수 있다. 반대로 고복잡도 이미지에서 핵심 증거가 특정 영역에 아주 작게 집중된 경우, 다양성 확보 전략이 어텐션을 희석시켜 세부 단서를 놓칠 위험이 존재한다.