GridProbe: Long-Video VLM에서 Adaptive Test-Time Compute를 위한 Posterior-Probing

Long-video 이해에 쓰이는 비주얼-언어 모델은 수천 프레임에서의 제2차(attention) 비용으로 인해 계산적으로 비효율적이다. GridProbe는 QA 모델의 posterior를 이용해 프레임을 선택하고, 2D Grid의 행/열 프로브로 중요한 증거를 맵으로 만들며, 모듈 retraining 없이도 sub-quadratic compute를 달성한다. 또한 Meff를 통해 per-question compute를 shape에 맞춰 자동 조정하고, 선택 신호를 모델의 추론 과정과 결합해 추론 능력의 한계를 넘는다.

단계 1: 긴 비디오의 프레임 풀 V에서 K×K 그리드로 후보를 샘플링하고, 각 행과 열에서 독립적으로 프로브를 수행한다. 단계 2: 행/열의 peak-posterior를 곱한 M[r, c]를 만들고, 질문-의존적 중요도 맵을 얻는다. 패널링: M의 모양으로 Meff를 결정하고, 상위 Meff 셀의 프레임들로 Stage-2를 수행한다. 이를 통해 답에 필요한 최소 프레임 수를 자동으로 조정하고, encoder-space 기반 선택 없이 QA 모델의 추론 과정에서 직접 증거를 찾는다.

수식/개념 흐름: c(S, q) = maxy∈Y pθ(y | S, q)로 정의된 probe confidence를 시나리오에 적용한다. Srowr 및 Scolc를 K×K 그리드의 행/열 서브셋으로 구성하고 M[r, c] = c_row[r] · c_col[c]로 계산한다. Meff는 σ(M) = |skew(M)| + 0.5·max(0, kurtex(M))를 이용해 결정하며, Meff = K^2 / (1 + γ0 K σ(M))으로 구현한다. Stage-2는 상위 Meff 프레임에서 단일 고해상도 forward-pass를 수행한다.

Video-MME-v2에서 GridProbe는 monolithic baseline과 동일한 모델에서 Avg Acc를 약 1.6pp 하향으로 감소시키고 TFLOPs를 3.36× 감소시키며 Pareto-dominant한 성능을 보인다. LongVideoBench에서도 baseline 대비 +0.9pp의 정확도 향상과 0.35× compute에서의 향상을 보인다. Cross-model 구성(GP-2B selector, 8B QA)은 0.83× compute에서 Avg Acc를 +3.56pp, Long-bin에서 +3.30pp의 향상을 달성한다. 2B selector + 4B QA 구성은 0.52× compute에서 +4.0pp의 응답 향상을 보이고, 3600s 구간에서 더 큰 이점을 보인다. MDP3 대비 GridProbe은 같은 M=8에서 더 높은 정확도/Long-acc 측면의 향상을 보여준다.

전체 아키텍처: VLM를 고정된 프레이밍 풀(K^2 프레임)에서 2K 프로브를 통해 행/열 프로브를 수행하고, 각 셀의 중요도 M[r, c]를 얻는다. 수학적 기반: M[r, c] = cr · cc, Meff = K^2 / (1 + γ0Kσ) 및 σ(M) = |skew(M)| + 0.5·max(0, kurtex(M)). 차별점: Encoder-space 프레임 선택은 모델의 내부 표현에 의존하는 반면, GridProbe은 QA 모델의 posterior를 직접 탐색해 증거를 확보한다. 구현/세부: Probe 패스는 224×224 해상도에서 수행되며, Stage-2는 Meff 프레임에 한정된 정밀 forward-pass를 수행한다. 학습-재훈련 필요 없음, 백본은 동결되어 있고 2B/4B/8B QA 간의 조합이 가능하다.