Gemini Embedding 2: Gemini로부터의 네이티브 멀티모달 임베딩 모델

Gemini Embedding 2는 텍스트, 이미지, 비디오, 오디오를 하나의 연합 표현 공간에 매핑한다. 멀티태스크 다단계 학습과 네이티브 멀티모달 이해를 통해 unimodal, cross-modal, multimodal 벤치마크에서 SOTA를 달성하며, RAG, 검색/추천 등 엔터프라이즈 애플리케이션에 직접 적용 가능성을 제시한다. 또한 네이티브 오디오 입력이 ASR 기반 파이프라인보다 검색 성능을 향상시키는 것을 실험적으로 입증한다.

출발점: 기존 멀티모달 임베딩은 모달리티 간 상호작용을 충분히 활용하지 못하고, 단순한 엔코더 간 클립-유사도 방식에 의존하는 경우가 많다. 이러한 한계는 mixed-modality 입력에서의 시맨틱 정보 손실로 이어진다. 해결 원리: Gemini Embedding 2는 Gemini의 멀티모달 및 코드 중심 코어를 활용해 텍스트, 이미지, 오디오, 비디오를 토큰화하고 bidirectional attention을 갖는 Transformer로 처리한다. 그 출력은 mean pooling으로 하나의 고정 차원 벡터로 요약한 뒤 선형 프로젝션으로 목표 차원(E)으로 매핑한다. 학습은 다중 태스크/다중 스테이지 방식으로 진행되며, 각 태스크에 따라 텍스트-텍스트, 텍스트-다중 모달, 다중 모달 간 대칭 학습이 이루어진다. 결과적으로 모달 간 상호작용을 포착하는 공동 잠재 공간이 형성되며, 언어 태스크에서도 텍스트 전용 벤치마크에서 강한 성능을 보인다. 차별점: 1) 입력 원시 형식에서 바로 임베딩으로의 직접 처리(텍스트, 이미지, 비디오, 오디오의 네이티브 지원), 2) NCE 손실과 in-batch 네거티브를 사용한 다중 모달 간 연합 학습, 3) MRL로 차원 확장에 따른 다중 손실의 조합, 4) PFT/FT 및 모델 수프를 통한 robust한 멀티모달 표현 학습, 5) 네이티브 오디오를 통한 검색 품질 향상 및 도메인 일반화.

1. 모델 구성: 입력 모달리티를 토큰화한 후, M으로 처리해 Tembed = M(T) ∈ R^{L×d_M}를 얻고, Pembed = P(Tembed)으로 평균 풀링한다. 이후 E = f(Pembed) ∈ R^d로 선형 프로젝션한다. 2) 학습 목표: q_i = f(mean_pool(M(t ⊕ q_i))), p_i^+ = f(mean_pool(M(p_i^+))), p_i^- = ...; 배치 B에서 L = (1/B) Σ_i [ - log exp(sim(q_i, p_i^+)/τ) / ( exp(sim(q_i, p_i^+)/τ) + exp(sim(q_i, p_i^-)/τ) + Σ_j mask(i,j) exp(sim(q_i, p_j^+)/τ) ) ] 로 정의된다. sim(x,y) = x^⊤y / (||x|| ||y||). mask(i,j)은 q_i = q_j 또는 p_i^+ = p_j인 경우 0, 그렇지 않으면 1이다. 3) 차원 확장: d = 3072인 임베딩에 대해 768/1536 차원의 하위 손실을 포함하는 MRL를 도입한다. 4) 학습 레시피: Pre-Fine-Tuning(PFT)에서 다중 태스크 샘플링, 대형 배치, 이미지/텍스트/코드 태스크 중심; Fine-Tuning(FT)에서 텍스트, 코드, 도큐먼트, 이미지, 오디오, 비디오를 포함한 대규모 태스크를 수행한다. 5) 모델 수프: 서로 다른 체인이나 체크포인트를 평균해 일반화 성능을 강화한다.

멀티모달/단일 모달 벤치마크에서 강력한 성능을 보인다. UI/GUIEC 이미지-이미지, 텍스트-이미지, 이미지-텍스트, 텍스트-비디오 등 다수의 쌍에서 Gemini Embedding 2가 최상위 평균 점수를 달성했다. 예를 들면: GUIEC Image→Image Recall@1: 79.4; ImageNet Image→Image Recall@1: 83.6; Text→Image Recall@1: MSCOCO 62.9, Flickr30k 89.1; Text→Text Recall@1: MSCOCO 78.8, Flickr30k 97.4; Text→Video NDCG@10: Vatex 68.8, MSR-VTT 68.0; Document Retrieval NDCG@10: ViDoRe V2 64.9. MMTEB(Multilingual) Mean 69.9; MTEB Code Mean 84.0. MSEB(Audio) 실험에서 Native Audio 입력은 ASR 기반보다 검색 성능이 높고, PassageInLang 75.58, PassageCrossLang 72.56 등으로 향상된다(Table 3). 5.3-5.4 절의 Ablation 및 Fine-Tuning 분석은 PFT/FT의 차이가 image/video 태스크에 더 큰 개선을 주며, 도메인 데이터의 추가가 일부 out-of-domain 태스크를 약간 저하시킬 수 있음을 보인다. 8-9 페이지의 전체 결과는 MTEB(Multilingual)과 MTEB(Code)에서 Gemini Embedding 2가 기존 텍스트 전용 모델 대비 우수함을 확인시켜 준다.

아키텍처: M은 Gemini로부터 초기화된 양방향 어텐션 Transformer이며, 입력 시퀀스 T의 길이 L 토큰을 처리한다. Mean pooling으로 Pembed를 얻고 f를 통해 차원 d의 임베딩 E를 산출한다. 손실: LCE 손실의 변형으로, q_i, p_i^+, p_i^-를 이용해 in-batch negatives를 활용하는 NCE 손실을 적용한다. 수식: L = (1/B) Σ_i [ - log exp(sim(q_i, p_i^+)/τ) / ( exp(sim(q_i, p_i^+)/τ) + exp(sim(q_i, p_i^-)/τ) + Σ_j mask(i,j) exp(sim(q_i, p_j^+)/τ) ) ]. 차원 확장: d = 3072로 설정하고, 768/1536 차원의 다중 손실(MRL)로 보정한다. 학습: Pre-Fine-Tuning(PFT)으로 멀티태스크 샘플링, 대형 배치, 이미지/텍스트/코드 중심 태스크 수행; Fine-Tuning(FT)에서 텍스트/코드/도큐먼트/이미지/오디오/비디오를 포함한 태스크를 학습한다. Model Soup: 서로 다른 체크포인트의 가중치를 평균화해 일반화 강화.