UEmbed: 디코더 전용에서 희소·밀집을 통합한 멀티모달 임베딩

희소 검색은 역색인과 결합해 대규모 검색 시스템에서 비용과 해석성을 제공하는 반면, 기존 LSR은 주로 bidirectional encoder에 묶여 있었다. UEmbed는 decoder-only MLLM에서 단일 순방향으로 희소와 밀집 임베딩을 동시에 생성하고 역색인·고성능 서빙 스택과 호환되도록 설계해 실무적 배포 가능성을 확보했다. 따라서 멀티모달 환경에서도 희소 검색을 자연스럽게 사용 가능한 새로운 실용 대안을 제시한 연구이다.

디코더 전용 모델은 causal attention으로 인해 단일 EOS 토큰만으로 거대한 어휘 차원을 예측하려 하면 표현 용량이 부족해진다. UEmbed는 입력 뒤에 N개의 학습 가능한 특수 토큰을 붙이고 어휘를 k-means로 N개의 배타적 하위집합으로 나누어 각 특수 토큰이 자신의 하위집합에 대한 희소 가중치를 예측하도록 한다. 이렇게 각 토큰이 서로 다른 의미적 방향을 담당하게 함으로써 단일 토큰 병목을 우회하고 동시에 EOS의 은닉으로부터 밀집 임베딩을 얻는 통합 표현을 만든다.

입력 시퀀스 끝에 N=16개의 특수 토큰을 추가해 각 특수 토큰이 이전 모든 토큰을 주목하도록 구성하고, 어휘 V를 전처리(악센트 제거·소문자화·공백 정리)로 압축한 뒤 k-means로 N개의 하위집합 V_{1}..V_{N}으로 분할한다. 각 특수 토큰의 최종 은닉 H_{s_k}에 대해 하위집합 내 항목별 선형 투영을 적용해 수식 w_{t}^{(k)}=log(1+ReLU(W_{t}^{(k)T}h_{s_k}+b_{t}^{(k)}))로 희소 가중치를 계산하고, 모든 하위벡터를 이어붙여 전체 희소 벡터를 구성한다. 밀집 임베딩은 특수 토큰 앞의 EOS 은닉을 사용하고, 학습은 dense·sparse InfoNCE 손실과 FLOPS 정규자 가중합으로 동시에 수행한다.

MMEB-v2에서 UEmbed-9B는 dense 71.8과 sparse 71.0을 기록해 동일 스케일 내부에서 두 모드 간 차이를 1.0포인트 이내로 좁혔고, 공개 데이터로 학습된 모델들 사이에서 최고 성능을 달성했다. BEIR 텍스트 벤치마크에서 UEmbed-9B는 dense 평균 nDCG@10 56.3, sparse 평균 55.2를 달성해 밀집·희소 모드 모두 강력한 경쟁력을 보였고 특히 희소 모드는 Echo-Mistral-SPLADE 수준의 성능을 보였다. 혼합(hybrid) 점수는 Text에서 +0.3, VisDoc에서 +0.5의 소폭 개선을 보였고 BrowseComp-Plus 실험에서는 sparse 모드가 검색 라운드 수를 줄이며 비용 효율 측면에서 이점을 보였다.

어휘 전처리를 통해 원래 248,320개였던 어휘를 악센트 제거·소문자화·공백 축소로 184,016개로 압축했고, 이 어휘를 k-means로 N=16 하위집합으로 분할해 각 특수 토큰이 자신에게 할당된 하위집합에 대해 선형 프로젝션으로 희소 가중치를 계산했다. 희소 소프트맥스의 역치 민감도를 완화하기 위해 sparse 온도 τ_{s}=32를 사용했고, FLOPS 정규자(쿼리·문서 측 평균 가중치 제곱 페널티)를 도입해 희소성을 제어했다. 학습 데이터는 공개 소스 3.94M 샘플을 혼합해 사용했고 멀티모달 하드 네거티브는 Qwen3-VL-Embedding-8B를 교사로 마이닝해 확보했다.

학습 코퍼스가 영어와 중국어에 편중되어 있어 희소 헤드의 다국어 커버리지가 제한적이며, 그 결과 다른 언어에 대한 활성화가 부족한 경향이 관찰된다. 대형 LLM 어휘의 특성상 비표준 서브워드나 '_alt' 같은 이상 토큰이 희소 활성 상위에 등장하는 사례가 있어 어휘 안정성 문제와 산출물 정제 필요성이 존재한다. 또한 비디오처럼 시공간적 밀도가 높은 입력에서는 단순히 프레임을 풀링해 평탄화한 희소 벡터가 용량 병목을 겪는 경향이 발견되어 모달리티별 추가 설계가 요구된다는 한계가 있다.