범용 멀티모달 임베딩의 성능과 효율 개선

왜 중요한가

WeMM-Embedding은 텍스트·이미지·비디오·시각 문서를 하나의 임베딩 체계로 처리하면서 2B 모델로도 MMEB-v2에서 기존 8B 오픈소스 기준을 넘어섰습니다. 9B 모델은 MMEB-v2 종합 점수 80.6을 기록했고, 26개 사내 과제와 14건의 온라인 A/B 테스트에서도 개선을 확인해 대규모 검색·추천 시스템에 적용할 수 있는 성능과 효율의 균형을 확보했습니다.

핵심 기여

2B·4B·9B 범용 멀티모달 임베딩

Qwen3.5 기반으로 텍스트, 이미지, 비디오, 시각 문서와 임의로 교차 배치된 입력을 하나의 벡터 공간에 매핑하는 2B·4B·9B 모델군을 구성했습니다. 입력 끝의 <embedding> 토큰 은닉 상태를 L2 정규화해 표현으로 사용합니다.

대규모 정렬과 정교화의 2단계 학습

수억 개 규모의 이질적인 소스·타깃 쌍으로 넓은 멀티모달 정렬을 수행한 뒤, 선별 데이터와 hard negative, 세밀한 관련성 점수, Teacher 증류를 결합해 표현을 정교화했습니다.

교차 스케일 지식 전달

2B와 4B 모델은 고정된 9B 모델의 소스→타깃 및 타깃→소스 유사도 분포를 모두 모방하도록 학습했습니다. 9B 모델은 더 큰 Teacher가 없어 여러 Stage 2 변형을 model merging으로 결합했습니다.

가변 차원 임베딩 지원

Matryoshka Representation Learning을 적용해 한 번의 순전파에서 64부터 2,048까지 지원되는 차원의 임베딩을 prefix truncation과 재정규화로 추출합니다. 2B 모델은 256차원에서 이미지와 비디오 성능의 각각 98.7%를 유지했습니다.

핵심 아이디어 이해하기

기존 CLIP 계열 임베딩은 모달리티별 encoder 경로를 사용하므로 텍스트와 이미지가 교차 배치된 문서, 비디오와 transcript가 결합된 입력처럼 여러 모달리티가 한 시퀀스에 섞인 경우를 자연스럽게 표현하기 어렵습니다. WeMM-Embedding은 Qwen3.5의 네이티브 멀티모달 처리 능력을 바탕으로 텍스트 토큰과 시각 토큰을 원래 순서대로 이어 붙이고, 끝의 토큰이 앞선 모든 내용을 참조하도록 만들어 하나의 벡터를 계산합니다. 따라서 입력이 텍스트만이든 이미지와 비디오가 섞였든 동일한 소스·타깃 유사도 계산 체계에 넣을 수 있습니다.

학습 데이터는 서로 다른 과제를 통일된 쌍 구조로 바꿉니다. 소스 q와 정답 타깃 c를 기본으로 두고, 필요할 때 과제 지시문, hard negative 집합, 연속 또는 순서형 관련성 점수를 추가하며, 같은 배치의 다른 타깃을 비교해 정답과 오답의 유사도 간격을 학습합니다. 관련성이 같은 후보는 중복 마스킹으로 음성 후보에서 제외하고, 분류처럼 동일한 라벨이 반복되는 과제에서 false negative가 손실을 오염시키는 문제를 줄입니다.

한 번의 대규모 정렬만으로는 빈번한 의미 패턴과 거친 약지도에 치우칠 수 있습니다. 그래서 두 번째 단계에서 Semantic ID 기반 재샘플링으로 데이터 분포를 조정하고, 멀티모달 모델로 잘못 연결된 쌍을 걸러내며, 유사하지만 틀린 후보를 추가합니다. 이후 reranker의 후보 순서와 더 큰 embedding 모델의 양방향 유사도 분포를 사용해 단순한 정답·오답 구분을 넘어 후보 간 세밀한 관계를 전달합니다.

Matryoshka Representation Learning은 전체 벡터의 앞부분에도 유사도 학습을 동시에 적용합니다. 추론 시 2,048차원 벡터에서 앞의 d개 성분만 잘라 다시 L2 정규화하면 별도 encoder 실행 없이 작은 임베딩을 얻을 수 있고, 256차원부터 세 과제군 모두 원래 성능의 97% 이상을 유지했습니다. 이 구조는 저장 공간과 검색 비용을 줄이면서도 전체 차원의 표현력을 상당 부분 보존하는 근거가 됩니다.

방법론

WeMM-Embedding은 Qwen3.5 기반 2B, 4B, 9B 모델로 구성되며 입력을 선택적 task instruction과 텍스트·이미지·비디오 세그먼트의 순서열로 받습니다. 텍스트는 native tokenizer와 embedding layer를 거치고 시각 입력은 native visual processing pipeline을 거친 뒤, 모든 토큰을 원래 순서대로 Transformer에 넣습니다. 마지막에 배치한 토큰의 최종 은닉 상태를 꺼내 L2 정규화하면 소스 또는 타깃의 단위 길이 표현이 됩니다.

기본 학습 단위는 소스 q, 정답 타깃 c, 선택적 hard negative, 선택적 관련성 점수로 이뤄진 쌍입니다. 일반 쌍에는 InfoNCE 방식의 contrastive learning을 적용해 정답 유사도는 높이고 같은 배치의 다른 후보 유사도는 낮추며, 중복 소스와 정답과 거의 같은 타깃은 mask 처리합니다. 관련성 등급이 있는 데이터에는 점수 차이가 큰 쌍에 더 큰 가중치를 주는 CoSENT 방식의 순위 손실을 적용해 높은 등급의 쌍이 더 높은 유사도를 받도록 학습합니다.

첫 번째 단계는 여러 모달리티와 도메인에서 수억 개의 쌍을 사용해 넓은 표현 공간을 만듭니다. 두 번째 단계는 그 규모의 약 10분의 1인 curated dataset을 사용하며, Semantic ID 밀도에 따른 재샘플링, 품질 정제, 텍스트·이미지·비디오별 hard negative 수집을 순서대로 수행합니다. 선택된 후보에는 reranker 점수로 순위 제약을 만들고, 2B와 4B에는 고정된 9B Teacher가 만든 소스→타깃 및 타깃→소스 Softmax 유사도 분포를 KL divergence로 증류합니다.

MRL 학습에서는 지원되는 각 차원 d에서 벡터 앞부분을 잘라 독립적으로 정규화한 뒤 동일한 과제 손실을 계산하고 차원별 가중합을 최적화합니다. 원래 은닉 벡터의 차원이 D라면 d≤D인 앞 d개 성분만 사용하므로 입력 처리 결과는 여러 저장·검색 예산에 맞는 중첩 임베딩이 됩니다. 실제 추론에서는 한 번의 순전파 결과를 prefix truncation하고 재정규화해 여러 차원 표현을 동시에 얻습니다.

주요 결과

MMEB-v2의 78개 데이터셋에서 WeMM-Embedding-2B는 종합 77.9를 기록해 Qwen3-VL-Embedding-2B보다 4.7점, DME-2B보다 3.1점 높았고 Qwen3-VL-Embedding-8B도 소폭 앞섰습니다. 4B는 79.2, 9B는 80.6을 기록했으며 9B는 공식 MMEB-v2 순위에서 오픈소스와 상용 비교 모델을 포함해 가장 높은 점수를 기록했습니다. MMEB-v3에서도 2B·4B·9B는 각각 56.0·58.2·59.5의 V3-All 점수를 기록했고, 2B의 Text와 Agent 점수는 각각 45.3과 45.1이었습니다.

12개 공개 cross-modal retrieval 과제의 평균은 2B 79.8, 4B 80.8, 9B 81.7이었습니다. 2B는 Text→Video 평균 NDCG@10에서 70.4를 기록했고, 9B는 72.9를 기록했으며, visual-document 검색인 ViDoRe V2에서는 각각 61.4와 66.3을 기록했습니다. 현재 모델은 audio 입력을 지원하지 않아 MMEB-v3의 11개 audio 과제 점수에는 0이 반영됐습니다.

WeChat 실제 응용에서 구성한 26개 과제의 평균은 WeMM-Embedding-2B가 72.0으로 Qwen3-VL-Embedding-2B의 60.9보다 높았습니다. 분류, 검색, cross-domain content matching, article relevance, video relevance의 다섯 범주 모두에서 2B가 더 높은 점수를 기록했으며, 모델 표현은 후보 검색, ranking feature 구성, 사용자 시퀀스 모델링, cross-domain content understanding에 사용됐습니다. 14건의 온라인 A/B 테스트에서 일관된 개선을 확인한 뒤 WeChat Channels, Official Accounts, Moments, e-commerce 및 검색 시스템에 적용했습니다.

2B Stage 1 설계 소거 실험에서는 task-specific instruction을 제거할 때 평균이 71.9에서 71.1로, task-consistent batching을 제거할 때 68.5로, duplicate-aware masking을 제거할 때 71.4로 낮아졌습니다. Stage 2 누적 실험에서는 curated data, reranker supervision, embedding-teacher distillation, 확장된 visual input budget을 순차적으로 추가하면서 평균이 Stage 1의 75.7에서 최종 77.9로 2.2점 상승했습니다. 특히 Teacher 증류를 추가한 뒤 평균이 76.7에서 77.6으로 높아졌고, 시각 입력 예산 확대 후 비디오 점수가 70.0에서 70.8로 증가했습니다.

기술 상세

입력 세그먼트는 텍스트 토큰과 visual token으로 변환된 뒤 하나의 causal sequence가 됩니다. 마지막의 토큰은 앞선 모든 토큰을 참조하고, 그 최종 은닉 상태 h_emb를 L2 norm으로 나눈 값이 출력 임베딩입니다. 즉 벡터의 각 성분을 그대로 내보내지 않고 전체 길이로 나눠 cosine similarity 계산에 적합한 단위 벡터를 만듭니다.

전체 차원이 D인 은닉 상태에서 지원 차원 d를 선택하면 앞의 d개 성분만 취한 뒤 다시 정규화합니다. 이 계산은 h_emb의 1:d 부분 벡터를 입력으로 받아 그 L2 크기로 나누고, 결과로 d차원 임베딩을 출력하는 흐름입니다. 예를 들어 2,048차원 결과에서 256개 성분만 남기면 256차원 검색 벡터를 만들 수 있으며, 2B 모델은 이 차원에서 이미지와 비디오 성능의 98.7%를 각각 유지했습니다.

일반 쌍의 contrastive loss는 정답 후보의 cosine similarity를 temperature τ로 나눈 값을 지수화하고, 같은 배치의 다른 후보와 hard negative의 항을 분모에 함께 넣어 정답 확률을 높이는 방식입니다. τ는 유사도 분포의 온도를 조절하는 학습 파라미터이며, near-duplicate 소스나 타깃에 해당하는 항은 mask 값 0으로 분모에서 제외하고 나머지는 1로 유지합니다. 이 입력·비교·마스킹·손실 계산 순서가 분류처럼 같은 타깃이 반복되는 과제에서 false negative를 줄입니다.

관련성 등급 학습은 각 쌍의 예측 유사도와 등급을 비교해 높은 등급의 쌍이 더 높은 유사도를 갖도록 순서를 조정합니다. 등급 차이가 큰 두 쌍에는 더 큰 가중치를 부여하고 같은 등급에는 순위 제약을 부여하지 않아, 이진 정답보다 풍부한 감독 신호를 유지합니다. Stage 2의 reranker supervision은 같은 질의에 속한 후보끼리 reranker 점수의 순서를 만들고, embedding distillation은 Teacher와 Student가 만든 양방향 후보 분포 사이의 KL divergence를 최소화합니다.

MRL의 차원별 손실은 지원 차원 집합에서 계산한 contrastive 또는 relevance 손실을 각 가중치와 곱해 더하는 구조입니다. 따라서 모델은 전체 차원에서만 잘 맞는 것이 아니라 앞부분만 잘라낸 64, 128, 256, 512 등의 벡터에서도 유사도 관계를 유지하도록 동시에 훈련됩니다. 실험에서 256차원에 도달하면 분류·질의응답·검색 세 과제군 모두 각자의 2,048차원 성능 97% 이상을 유지했고, 차원을 더 늘릴 때의 추가 이득은 점차 작아졌습니다.

한계점

현재 WeMM-Embedding 모델은 audio 입력을 지원하지 않아 MMEB-v3의 11개 audio 과제에서 점수가 0으로 처리됐습니다. 논문은 향후 omni-modal 입력 확장과 더 큰 모델 규모, 데이터 정제 및 세밀한 관련성 감독 개선을 계획으로 명시했습니다.

실무 활용

모델 가중치와 코드를 공개해 검색·추천 시스템에서 텍스트, 이미지, 비디오를 동일한 의미 공간으로 색인하고 매칭할 수 있습니다. 256차원 또는 512차원 표현을 선택하면 2,048차원 대비 대부분의 성능을 유지하면서 저장·검색 비용을 줄일 수 있고, 실제 WeChat 추천과 검색 파이프라인에서 대규모 배포가 이뤄졌습니다.

텍스트·이미지·비디오를 함께 사용하는 WeChat 콘텐츠 후보 검색과 cross-modal retrieval
추천 시스템의 후보 생성, ranking feature 구성, 사용자 시퀀스 모델링
WeChat Channels 비디오, Official Accounts article, Moments 콘텐츠의 의미 검색
Semantic ID를 활용한 compact discrete feature 기반 색인과 시퀀스 모델링
시각 문서와 비디오를 포함한 멀티모달 분류·관련성 판정

코드 공개 여부: 공개

코드 저장소 보기

키워드

WeMM-Embedding(범용 멀티모달 임베딩 모델)멀티모달 검색Matryoshka Representation Learning(중첩 표현 학습)cross-scale knowledge transfer(교차 스케일 지식 전달)fine-grained relevance supervision(세밀한 관련성 감독)MMEB-v2(멀티모달 임베딩 벤치마크)

용어 해설

멀티모달 임베딩(Multimodal Embedding): — 텍스트·이미지·비디오처럼 서로 다른 형식의 입력을 하나의 벡터 공간에 배치하는 표현 학습 방식입니다. 입력 간 의미적 유사도를 계산할 수 있어 검색, 추천, 분류의 공통 표현으로 활용됩니다.
대조 학습(Contrastive Learning): — 서로 맞는 소스와 타깃의 임베딩 유사도는 높이고, 맞지 않는 후보의 유사도는 낮추도록 학습하는 방법입니다. 배치 안의 다른 타깃이나 별도로 수집한 hard negative를 비교 대상으로 사용합니다.
하드 네거티브(Hard Negative): — 질의와 의미적으로 비슷하지만 정답은 아닌 후보입니다. 쉬운 오답보다 구별하기 어려운 후보를 학습에 넣어 모델이 세밀한 관련성 차이를 표현하도록 만듭니다.
지식 증류(Knowledge Distillation): — 큰 Teacher 모델의 출력 분포나 관계를 작은 Student 모델이 모방하도록 학습하는 방식입니다. 정답 하나만 사용하는 대신 후보 간 상대적 유사도 정보를 전달해 소형 모델의 표현 품질을 높입니다.
마지막 토큰 풀링(Last-Token Pooling): — 입력 끝에 전용 토큰을 추가한 뒤 Transformer의 마지막 층에서 해당 토큰의 은닉 상태를 전체 입력의 대표 벡터로 사용하는 방식입니다. 텍스트와 시각 토큰을 함께 처리한 결과를 하나의 임베딩으로 모읍니다.
의미 ID(Semantic ID): — 임베딩을 양자화해 얻은 이산 식별자로, 데이터의 의미 분포를 나타내는 코드입니다. WeMM-Embedding은 코드별 밀도를 이용해 자주 반복되는 패턴은 덜 샘플링하고 희소한 패턴은 더 보존했습니다.

범용 멀티모달 임베딩의 성능과 효율 개선

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

NeoMME, 단일 Transformer로 이미지 검색 비용을 낮추다

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

NeoMME, 단일 Transformer로 이미지 검색 비용을 낮추다