구글, 첫 번째 멀티모달 임베딩 모델 Gemini Embedding 2 출시

섹션별 상세

Gemini Embedding 2는 텍스트, 이미지, 비디오, 오디오, 문서를 하나의 공통 벡터 공간으로 매핑하여 서로 다른 모달리티 간의 검색을 단일 파이프라인으로 처리한다.

입력 사양으로 텍스트는 최대 8,192 토큰, 비디오는 120초, 요청당 이미지는 6개까지 지원하며 오디오는 별도의 전사 과정 없이 원시 데이터를 직접 처리한다.

Matryoshka 표현 학습(Matryoshka Representation Learning) 기법을 적용하여 3,072차원의 출력을 재학습 없이 128차원까지 줄일 수 있어 저장 공간과 지연 시간을 최적화한다.

100개 이상의 언어를 지원하며 LangChain, LlamaIndex와 같은 개발 도구는 물론 Weaviate, Qdrant, ChromaDB 등 주요 벡터 데이터베이스와 이미 통합되어 있다.

멀티모달 임베딩(Multimodal Embedding): — 텍스트, 이미지, 오디오 등 서로 다른 형태의 데이터를 동일한 벡터 공간에 수치화하여 표현하는 기술이다. 이를 통해 텍스트로 이미지를 검색하거나 영상의 내용을 텍스트로 찾는 등 모달리티를 넘나드는 검색과 분석이 가능해진다.
마트료시카 표현 학습(Matryoshka Representation Learning): — 하나의 임베딩 벡터 내에 중요 정보를 계층적으로 저장하여, 벡터의 뒷부분을 잘라내더라도 핵심 의미를 유지할 수 있게 하는 학습 기법이다. 성능 저하를 최소화하면서 저장 용량과 검색 속도를 최적화할 수 있어 대규모 시스템에 유리하다.
교차 모달 검색(Cross-modal Retrieval): — 입력 데이터와 검색 대상 데이터의 형식이 다른 경우에도 유사성을 기반으로 정보를 찾아내는 방식이다. 예를 들어 사용자가 입력한 음성 질문에 대해 관련 비디오 구간이나 문서를 결과로 제공하는 시스템을 구현할 때 핵심적인 역할을 한다.