Q-Zoom: 효율적인 멀티모달 대형 언어 모델을 위한 질의 인식 적응형 지각

기존 멀티모달 모델은 고해상도 이미지를 처리할 때 불필요한 배경까지 모두 연산하여 속도가 느려지는 문제가 있었다. Q-Zoom은 질문의 의도를 파악해 필요한 부분만 골라 고해상도로 다시 보는 방식을 도입하여, 정확도는 유지하면서도 연산 비용과 추론 시간을 획기적으로 줄였다.

Transformer 아키텍처의 Self-Attention은 입력 토큰 수의 제곱에 비례하여 연산량이 증가한다. 고해상도 이미지를 그대로 입력하면 수천 개의 토큰이 생성되어 추론 속도가 급격히 느려지는데, 이 중 상당수는 질문과 무관한 배경 정보인 경우가 많다.

Q-Zoom은 이 문제를 해결하기 위해 '먼저 훑어보고 필요한 곳만 자세히 보기' 전략을 취한다. 먼저 저해상도 이미지와 질문을 입력받아, 모델 내부의 중간 특징(intermediate feature) 단계에서 질문에 답하기 위해 더 자세한 정보가 필요한지 Dynamic Gating Network가 결정한다.

만약 정밀한 관찰이 필요하다면 SD-RPN이 작동하여 질문과 가장 관련이 깊은 영역을 찾아낸다. 이 과정에서 모델이 이미 계산한 Attention 점수를 활용해 별도의 외부 도구 없이도 정확한 위치를 특정한다. 결과적으로 전체 이미지를 고해상도로 처리하는 대신, 꼭 필요한 부분만 고해상도로 다시 읽어 들여 연산 효율을 극대화한다.

전체 프레임워크는 2단계 적응형 파이프라인으로 구성된다. 1단계에서는 Dynamic Gating Network가 질문의 복잡도를 평가하여 직접 응답할지, 아니면 고해상도 추출 과정을 거칠지 결정한다. [질문 토큰의 마지막 hidden state 입력] → [Linear Layer 및 Sigmoid 연산] → [0~1 사이의 확률값 출력] → [임계값보다 높으면 RoI 추출 트리거] 순으로 작동한다.

2단계인 SD-RPN은 모델의 중간 레이어에서 시각적 특징과 질문 특징을 결합하여 관심 영역(RoI)을 예측한다. [중간 레이어의 시각 특징과 질문 특징 입력] → [내적(Inner Product) 연산으로 Heatmap 생성] → [가우시안 필터 및 이진화] → [최종 Bounding Box 좌표 획득] 과정을 거친다.

추출된 RoI는 고해상도로 재인코딩되며, Continuous Spatio-Temporal Alignment를 통해 원래 위치 정보를 유지한다. [원본 좌표와 잘라낸 영역의 좌표 입력] → [Temporal Shift 및 Spatial Interpolation 연산] → [새로운 위치 임베딩 생성] 과정을 통해 모델이 지역적 세부 사항을 전체 맥락 속에서 올바르게 인식하게 한다.

Qwen2.5-VL-7B 모델에 적용했을 때, Document & OCR 벤치마크에서 기존 대비 2.52배, 고해상도 시나리오에서는 4.39배의 추론 속도 향상을 달성했다. 특히 시각적 토큰 사용량을 각각 53.0%와 73.2% 절감하면서도 정확도는 베이스라인 모델의 최고 성능과 대등하거나 오히려 상회하는 결과를 보였다.

최대 성능 설정 시 Document 벤치마크에서 1.1%, 고해상도 벤치마크에서 8.1%의 성능 향상을 기록했다. 이는 불필요한 배경 토큰을 제거함으로써 모델이 핵심 정보에 더 집중할 수 있게 되었음을 의미한다. 또한 LLaVA, Qwen3-VL 등 다양한 아키텍처에서도 일관된 성능 향상을 입증하여 범용성을 확인했다.

Q-Zoom은 MLLM의 중간 레이어가 강력한 시각적 접지(Visual Grounding) 능력을 갖추고 있다는 점에 착안하여 설계되었다. SD-RPN은 동결된 백본의 중간 특징을 재사용하는 가벼운 브랜치로 구현되어 파라미터 증가를 최소화했다. 학습 시에는 외부 라벨 없이 모델 스스로 생성한 Attention Map을 정제하여 의사 라벨(Pseudo-label)로 사용하는 자가 증류(Self-distillation) 방식을 채택했다.

특히 'Sink Token'이라 불리는, 의미 없이 높은 Attention을 받는 토큰들을 L2-norm 임계값으로 필터링하여 노이즈를 제거하는 기법을 도입했다. 또한 위치 인코딩의 충돌을 방지하기 위해 RoI 토큰에 시간적 오프셋(Temporal Shift)을 부여하고, 좌표 공간을 보간(Interpolation)하여 고해상도 토큰이 전역 좌표계에 정확히 매핑되도록 설계했다.

논문은 LLaVA와 같이 베이스 해상도가 매우 낮은 모델(336x336)의 경우, 게이팅 네트워크가 거의 모든 테스트 이미지에 대해 RoI 브랜치를 트리거하게 되어 효율성 개선 폭이 제한적일 수 있음을 언급했다.