TL;DR

WeMM-Embedding은 Tencent WeChat Vision 팀이 개발한 범용 멀티모달 임베딩 모델 제품군으로, 텍스트와 시각 데이터를 통합하여 고품질 벡터 표현을 생성한다. Matryoshka Representation Learning을 활용해 임베딩 차원을 유연하게 조절할 수 있어, 메모리 효율성과 추론 속도를 최적화하면서도 MMEB-v2 및 v3 벤치마크에서 SOTA 수준의 성능을 달성했다. Transformers 및 vLLM 등 표준 프레임워크를 지원하여 실무 환경에 즉시 배포 가능하며, 다양한 멀티모달 검색 및 이해 태스크에 활용할 수 있다.

핵심 포인트

• 텍스트, 이미지, 비디오, 시각 문서 등 다양한 모달리티를 통합 처리하는 범용 멀티모달 임베딩 모델 제품군.
• Matryoshka Representation Learning(MRL)을 적용해 임베딩 차원을 유연하게 조절하며 성능 손실을 최소화.
• MMEB-v2 및 v3 벤치마크에서 기존 모델 대비 우수한 성능을 입증하며 SOTA 기록.
• Transformers, SentenceTransformers, vLLM, SGLang 등 주요 추론 및 서빙 프레임워크와 호환.

벤치마크

이미지 분석