모든 모달리티를 위한 멀티 벡터 인덱스 압축 기술

이미지나 비디오 같은 멀티 모달 데이터는 텍스트보다 훨씬 많은 벡터를 생성하여 검색 시스템의 저장 비용을 폭증시킨다. 이 논문은 검색 정확도는 유지하면서도 인덱스 크기를 획기적으로 줄이는 기술을 제안하여, 대규모 멀티 모달 검색 시스템의 실질적인 상용화 장벽을 제거했다.

Late Interaction 방식은 쿼리와 문서의 모든 토큰 간 유사도를 계산하여 매우 정교한 검색 결과를 제공하지만, 문서가 길어질수록 저장해야 할 벡터 수가 선형적으로 증가하는 한계가 있다. 특히 비디오나 고해상도 이미지는 수천 개의 토큰을 생성하므로, 수십억 개의 문서를 인덱싱해야 하는 실제 서비스 환경에서는 저장 비용이 천문학적으로 늘어난다.

이 논문은 문서의 모든 토큰을 저장하는 대신 '범용 쿼리 토큰(Universal Query Tokens)'이라는 개념을 도입하여 이 문제를 해결한다. 이는 특정 질문이 없어도 문서 내에서 어떤 부분이 검색에 중요할지를 미리 파악하는 안테나 역할을 한다. 이 안테나가 포착한 중요 지점(Centroid)을 중심으로 주변 토큰들을 묶어(Clustering) 고정된 개수의 대표 벡터로 압축한다.

결과적으로 AGC는 정보의 중복을 제거하면서도 검색에 필요한 핵심 세부 사항은 보존한다. 실험 결과, 전체 인덱스의 1% 미만만 사용되던 기존 방식의 낭비를 제거하여 훨씬 적은 용량으로도 비압축 모델과 대등한 성능을 보여주며, 오히려 노이즈가 제거되어 검색 정확도가 향상되는 경우도 확인되었다.

전체 접근 방식은 고정된 벡터 예산(Constant Vector Budget) 내에서 문서를 표현하는 것이다. 이를 위해 SeqResize(투영), MemTok(토큰 기반), H-Pool(계층적 풀링), 그리고 제안된 AGC(Attention-Guided Clustering)를 비교 분석한다. AGC는 학습 가능한 Universal Query Tokens를 문서 토큰 시퀀스에 추가하여 인코더를 통과시킨다.

핵심인 Centroid Selection 단계에서는 Universal Query Tokens와 문서 토큰 간의 Attention 가중치를 활용한다. [Universal Query 토큰과 문서 토큰 간의 Attention 가중치 입력] → [모든 헤드와 쿼리 토큰에 대해 평균을 내는 연산 수행] → [각 문서 토큰별 중요도를 나타내는 Saliency Score 출력] → [이 점수가 높은 상위 k개의 토큰이 클러스터의 중심점이 됨].

Clustering 및 Aggregation 단계에서는 각 문서 토큰을 가장 유사한 중심점에 할당(Hard Assignment)한 뒤 Weighted Aggregation을 수행한다. [클러스터에 속한 토큰 임베딩과 각각의 Saliency Score 입력] → [Saliency Score를 가중치로 사용하는 가중 평균 연산 수행] → [압축된 하나의 대표 벡터 출력] → [중요한 정보는 보존하고 노이즈는 억제된 효율적인 인덱스 벡터가 됨]. 이 과정은 미분 가능하여 엔드투엔드 학습이 가능하다.

BEIR(텍스트), ViDoRe(시각 문서), MSR-VTT(비디오), MultiVENT 2.0(오디오-비디오) 등 4가지 주요 벤치마크에서 평가를 진행했다. AGC는 모든 모달리티에서 다른 압축 기법들을 압도했으며, 특히 비압축 베이스라인 모델 성능의 약 97%를 유지하는 효율성을 보였다.

MSR-VTT 비디오 검색 실험에서 AGC는 5개, 32개, 128개의 토큰 예산 모두에서 기존 SOTA 모델인 Video-ColBERT 및 OmniEmbed를 능가했다. 특히 R@1 지표에서는 비압축 모델보다 더 높은 성능을 기록하기도 했는데, 이는 압축 과정에서 불필요한 노이즈가 제거되었음을 시사한다.

Ablation Study를 통해 AGC의 세 가지 구성 요소(Attention 기반 중심점 선택, 클러스터링, 가중 집계)가 모두 성능 향상에 필수적임을 확인했다. 특히 가중 집계를 제거했을 때 최적화 안정성이 떨어져 성능 하락이 가장 컸으며, 클러스터링을 제거하면 토큰 매치가 특정 영역에만 집중되어 표현력이 저하됨이 확인되었다.

AGC 아키텍처는 Late Interaction의 핵심인 MaxSim 연산의 효율성을 극대화하도록 설계되었다. 기존의 단순 풀링이나 투영 방식과 달리, 데이터의 의미론적 중요도(Saliency)를 Attention 메커니즘으로 파악하여 클러스터링의 가이드로 삼는 것이 기술적 차별점이다.

Universal Query Tokens는 학습 과정에서 문서의 어떤 특징이 검색에 유리한지를 스스로 학습한다. 이는 쿼리-불가지론적(Query-agnostic) 설정에서도 쿼리-인식(Query-aware) 방식에 근접한 정보 추출 능력을 제공하며, 하드 클러스터링을 통해 잠재 공간에서 서로 다른 의미 개념이 섞이지 않도록 보존한다.

구현 측면에서 Qwen2.5-VL 및 Qwen2.5-Omni와 같은 최신 MLLM 백본을 활용하여 강력한 표현력을 확보했다. 학습 시에는 16-way MSMARCO 하드 네거티브를 활용한 증류(Distillation) 손실 함수를 사용하여 검색 변별력을 높였으며, bfloat16 정밀도와 FastPlaid 인덱스를 사용하여 실전적인 성능을 검증했다.

비압축 모델과 비교했을 때 여전히 아주 미세한 성능 손실이 존재하며, MultiVENT 2.0 데이터셋의 경우 오디오 샘플링 효율성 문제로 인해 백본 모델의 한계가 드러났다. 또한 현재는 고정된 토큰 예산을 사용하지만, 문서의 정보 밀도에 따라 가변적인 예산을 할당하는 방식은 아직 구현되지 않았다.