모든 시각 토큰이 동일하게 중요한가: 객체 증거를 보존하는 SaMer 토큰 병합 방식

대규모 이미지-텍스트 검색 시스템은 이미지당 수백에서 천 개의 지역 토큰을 보관하고 쿼리마다 모두 비교해야 하므로 저장과 점수 계산 비용이 크게 증가한다. 본 논문은 단순한 토큰 축소가 아니라 쿼리 단위로 선택될 수 있는 객체 수준 증거를 보존하면서 대표 토큰 수를 크게 줄이는 접근을 제시해 비용과 성능의 균형을 맞췄다. 결과적으로 대규모 인덱스의 저장량과 검색 지연을 줄이면서도 객체·구문 수준의 정밀한 매칭을 유지할 수 있음을 실험으로 입증했다.

다중 벡터 기반의 late-interaction 검색에서는 쿼리의 각 토큰이 이미지 측 모든 지역 토큰과 비교되어 가장 유사한 토큰을 선택한다. 이 구조는 객체·속성·관계 같은 국소 증거를 포착할 수 있지만 이미지당 저장해야 할 토큰 수 N이 커질수록 저장 비용과 점수 계산량이 M×N에 비례해 급증하는 구조적 한계를 만든다. 따라서 대규모 인덱스에서는 토큰 수를 줄이지 않고서는 실용적 확장이 어렵다. SaMer은 단순히 토큰을 버리거나 전역 풀링으로 요약하는 대신 각 이미지의 post-projector 토큰을 feature 유사도와 공간적 일관성을 결합한 soft-assignment로 K개의 대표 centroid로 집약한다. 학습 시에는 바운딩박스 정보를 병합 우선(merge prior)으로 활용해 서로 다른 객체 인스턴스가 하나의 centroid로 섞이지 않도록 유도한다. 이렇게 하면 쿼리 토큰이 MaxSim으로 접근할 수 있는 객체-수준의 증거를 대표 토큰 내에 보존하면서 전체 토큰 수를 크게 줄일 수 있다. SaMer이 기존 pruning·pooling 기반 방법과 근본적으로 다른 점은 압축 목표가 '남는 정보의 양'이 아니라 '미래 쿼리들이 선택해야 하는 증거의 가용성'에 맞춰져 있다는 점이다. feature 만으로 유사한 패치를 묶으면 서로 다른 인스턴스가 동일 표현으로 붕괴될 수 있으나, 객체 인식 병합은 학습 시 라벨 기반 통계적 페널티로 cross-instance 혼합을 억제함으로써 구문 수준 접지 성능을 유지한다. 이로 인해 적은 K에서도 R@1·R@5 같은 검색 성능과 BoxMass·RegionHit 같은 접지 지표를 동시에 확보할 수 있다.

전체 파이프라인은 세 단계로 구성된다. 첫째, 동결된 비전·언어 백본으로부터 나오는 post-projector 비주얼 토큰 V={v_i}{i=1..N}과 쿼리 토큰 Q={q_j}{j=1..M}을 공유 투영층으로 동일 공간에 맵핑한다. 둘째, 각 이미지의 N개 토큰을 K≪N인 대표 centroid로 병합하는데, 병합 거리는 feature term과 spatial term을 합한 복합 거리로 계산되어 softmax 기반의 소프트 어사인먼트를 통해 가중치를 얻고 가중 평균으로 centroid를 구성한다. 셋째, 학습 시에는 객체 바운딩박스로부터 토큰별 인스턴스 레이블을 할당하고 대표별로 우세한 bbox 분포를 추정해 cross-instance 할당에 페널티를 추가하며, 추론 시에는 라벨 없이 feature-spatial 병합만 수행한다. 병합 세부는 두 축을 결합한 거리계산, soft-assignment 온도 τ_s, 그리고 공간 계수 γ의 조합으로 동작한다. 각 대표 r_k는 모든 토큰의 가중 합을 정규화한 결과이며, 압축 후의 검색 점수는 원래의 MaxSim 규칙을 그대로 사용하되 이미지 측 토큰 집합을 R(I)={r_k}_{k=1..K}로 대체한다. 이로써 쿼리-토큰 수준의 최대 유사도 선택 과정은 유지되며, 저장·점수 계산 비용은 K 기준으로 감소한다. 적응 전략은 projection-only 방식으로 제한된다. 병합 과정은 비모수적이며 centroid 계산은 투영된 임베딩으로부터 유도되므로, 압축된 MaxSim 점수로부터의 그래디언트가 투영층을 통해 흐르고 투영층 파라미터가 업데이트된다. 손실 함수는 multi-positive InfoNCE를 사용하여 긍정 이미지를 온도 τ로 스케일링한 exp 점수들의 비율을 로그로 취해 최적화한다. 이 구성은 백본을 그대로 유지하면서 압축된 표현에 적합한 검색 공간 정렬을 가능하게 한다.

메인 벤치마크에서 SaMer은 자연 이미지 검색에서 유의미한 향상을 보였다. ColPali 백본에 K=64를 적용한 경우 Flickr30K R@1은 77.0에서 82.4로 상승했고 MSCOCO R@1은 47.4에서 51.6으로 상승했다. ColQwen2 백본에서도 K=64일 때 Flickr30K R@1은 73.6에서 79.3으로 개선되어 동일한 토큰 예산 하에서 pruning·pooling 계열의 압축 기법보다 높은 검색 성능을 보였다. 구성 요소 분석에서는 feature-only 병합이나 spatial 항만 추가한 경우보다 객체 인식 병합이 주된 성능 향상 요인으로 확인되었다. Merge Component 실험에서 객체 인식 우선이 적용된 SaMer은 Flickr30K R@1을 82.4로 끌어올렸고 MSCOCO R@1을 51.6으로 향상시켰다. 토큰 예산 분석에서는 K가 32에서 64로 늘어날 때 성능 향상이 크고 K≥64에서는 추가 개선이 완만해져 K=64가 실무적 균형점으로 제시되었다. 구문 수준 접지(metric) 결과에서는 SaMer가 압축된 상태에서도 증거 집중도를 유지하거나 개선했다. training-free SaMer은 RegionHit를 10.5에서 62.8로, CoverageIoU를 2.1에서 11.7로 끌어올렸고 projection-only 적응을 거친 SaMer는 BoxMass를 41.3에서 54.2로, RegionHit를 68.3으로, CoverageIoU를 16.4로 향상시켜 압축 후에도 구문별 지역 증거가 올바른 객체에 집중되었음을 보여주었다. 효율성 측면에서 ColPali의 원래 이미지당 1,030개 토큰을 K=64로 압축하면 이미지측 저장량이 논문에서 보고한 바와 같이 16.09× 감소하고 MaxSim 비교 연산 또한 약 16.1× 감소해 QPS가 데이터셋별로 수배 향상되었다. 이 수치들은 인덱스 저장과 유사도 계산 비용을 동시에 낮춘다는 SaMer의 실용적 이점을 정량적으로 뒷받침한다.

아키텍처는 동결된 비전 인코더와 텍스트 인코더, 그리고 학습 가능한 공유 투영층으로 구성되며 이미지 측 post-projector 토큰을 K개의 대표 centroid로 압축해 저장한다. 압축은 centroid 기반의 soft-assignment를 사용하며 centroid는 각 토큰의 가중 평균을 ℓ2 정규화한 결과로 형성된다. MaxSim 기반의 late-interaction 점수 계산 규칙은 유지되어 쿼리 토큰은 압축된 centroid들 중 최대 유사한 것을 선택한다. 거리 함수와 soft-assignment의 수리적 구성은 핵심적이다. 거리 함수는 feature term과 spatial term의 합으로 정의된다. 수식 원문: d(i,k)=(1−v_i^⊤μ_k)+γ‖p_i−s_k‖2^2. 변수 의미는 다음과 같다. v_i는 i번째 post-projector 토큰의 D차원 벡터, μ_k는 k번째 대표의 feature centroid, p_i는 i번째 토큰의 정규화된 2차원 공간 좌표, s_k는 k번째 대표의 공간 centroid, γ는 공간 항의 가중치이다. 계산 흐름은 각 (i,k) 쌍에 대해 d(i,k)를 계산하고 τ_s로 나눈 음수값에 softmax를 적용해 a{i,k}를 얻은 뒤 대표 r_k를 a_{i,k}로 가중 평균하여 정규화하는 방식이다. 작은 수치 예시는 논문 내 하이퍼파라미터 설정을 그대로 따르지만, 개념적으로 p_i와 s_k 거리 항이 클수록 공간적 불일치로 인해 해당 토큰의 해당 대표에 대한 할당 확률이 낮아진다. MaxSim 점수 구조는 다음과 같다. 수식 원문: S(q,I)=1/M ∑{j=1}^M max{i∈[N]} q_j^⊤ v_i, 압축 후에는 i 대신 k∈[K]로 치환되어 S_K(q,I)=1/M ∑{j=1}^M max{k∈[K]} q_j^⊤ r_k가 된다. 변수 의미는 q_j가 j번째 쿼리 토큰, v_i/r_k가 이미지측 토큰/대표이며 계산 흐름은 각 쿼리 토큰마다 이미지측 대표들과 dot-product를 취해 가장 큰 값을 골라 평균하는 것이다. 이 구조는 입력(쿼리 토큰과 압축된 대표) → dot-product 연산 → 최대값 선택 → 평균 집계로 이어지며 최대값이 클수록 해당 쿼리-이미지 쌍의 관련성이 높음을 의미한다. 객체 인식 병합의 구현적인 핵심은 학습 단계에서의 merge prior 산정이다. 각 토큰에 bbox 레이블 b_i를 할당하고 hard assignment c_i=argmin_k d(i,k)를 계산해 대표별로 우세한 bbox 분포 P_k(b)를 추정한 뒤 P_inst(i,k)=1−P_k(b_i)로 cross-instance 페널티를 산출한다. 최종 소프트 어사인먼트는 a_{i,k}=softmax_k(−(d(i,k)+P_inst(i,k))/τ_s)로 계산되어 cross-instance 할당에 낮은 가중치를 부여한다. 이 과정은 soft-assign centroid 계산에만 적용되며 hard assignment는 gradient 전파를 차단해 우세한 라벨 통계를 추정하는 데만 사용된다. 학습은 multi-positive InfoNCE 손실을 사용하며 압축된 MaxSim 점수 S_K(q,I)를 입력으로 삼는다. 손실 원문: L_ret=−log(∑{I^+∈P(q)} exp(S_K(q,I^+)/τ) / ∑{I∈B} exp(S_K(q,I)/τ)). 이 손실은 긍정 이미지 집합을 분자에, 배치의 모든 후보를 분모에 두어 긍정과 부정 간의 상대적 점수 차이를 키운다. 투영층 파라미터는 이 손실의 그래디언트를 통해 업데이트되며 병합은 비모수적이므로 추가적인 병합 파라미터는 존재하지 않는다.

학습 단계에서 객체 바운딩박스 주석이 필요할 경우 SaMer은 그 주석을 병합 우선으로 활용하므로 해당 주석이 전혀 없는 도메인에서는 객체 인식 페널티의 직접적 이득을 얻기 어렵다. 문서 이미지처럼 OCR 토큰과 레이아웃 신호가 핵심인 도메인에서는 공격적인 토큰 압축이 희소한 텍스트 증거를 제거할 위험이 있어 SaMer이 최적화된 선택이 아닐 수 있다. 또한 병합은 이미지 내 지역 표현을 대표로 요약하므로 매우 세밀한 픽셀 수준의 지역 구분이 필요한 응용에서는 추가적 보완이 필요하다.