IBM Granite Embedding Multilingual R2 공개: 32K 컨텍스트와 200개 언어 지원

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

IBM Granite Embedding Multilingual R2는 97M과 311M 파라미터 규모의 두 가지 다국어 임베딩 모델로 구성된다. ModernBERT 아키텍처를 기반으로 200개 이상의 언어와 32K 토큰의 긴 컨텍스트를 지원하며, 기존 R1 대비 MTEB 벤치마크에서 큰 폭의 성능 향상을 보였다. 97M 모델은 100M 미만 파라미터 모델 중 최고 수준의 검색 품질을 기록했고, 311M 모델은 Matryoshka 임베딩을 지원하여 효율적인 차원 축소가 가능하다. 두 모델 모두 Apache 2.0 라이선스로 배포되며, LangChain, LlamaIndex 등 주요 프레임워크와 즉시 호환된다.

배경

Python, Sentence Transformers, RAG 시스템에 대한 기본 이해

대상 독자

다국어 RAG 시스템을 구축하거나 임베딩 모델의 비용 효율성을 최적화하려는 AI 엔지니어

의미 / 영향

이 모델들은 고성능 다국어 임베딩을 Apache 2.0으로 공개하여 기업의 RAG 파이프라인 구축 장벽을 낮춘다. 특히 97M 모델의 효율성은 모바일이나 엣지 환경에서도 고품질 검색 기능을 구현할 수 있는 가능성을 제시한다.

섹션별 상세

ModernBERT 아키텍처는 R1의 XLM-RoBERTa 대비 64배 증가한 32K 컨텍스트 윈도우를 지원하며, Flash Attention 2.0과 Rotary Position Embeddings를 통해 긴 시퀀스 처리 효율을 최적화했다.

Granite Embedding Multilingual R2의 주요 사양 요약 — Infographic97M 및 311M 모델의 파라미터 수, 지원 언어 수, 컨텍스트 윈도우 크기 및 라이선스 정보를 한눈에 보여준다.

R1 모델과 R2 모델의 아키텍처 및 성능 비교표 — DiagramModernBERT 도입, 컨텍스트 윈도우 확장, 어텐션 메커니즘 변경 등 R1에서 R2로의 기술적 변화를 상세히 비교한다.

97M 파라미터 모델은 MTEB 다국어 검색 벤치마크에서 60.3점을 기록하여, 100M 미만 오픈 모델 중 가장 높은 성능을 달성했다.

속도와 품질을 기준으로 한 모델 벤치마크 차트 — ChartGranite R2 모델들이 경쟁 모델 대비 높은 처리량과 우수한 검색 품질을 동시에 확보하고 있음을 보여준다.

311M 모델은 Matryoshka Representation Learning을 통해 768차원 임베딩을 128~512차원으로 손실을 최소화하며 축소할 수 있어, 저장 공간과 연산 비용을 획기적으로 절감한다.

Matryoshka 임베딩 차원 축소에 따른 품질 변화 — Chart임베딩 차원을 768에서 128로 줄여도 검색 품질이 거의 유지됨을 보여주며, 효율적인 저장 및 연산이 가능함을 입증한다.

Sentence Transformers, LangChain, LlamaIndex, Haystack, Milvus 등 주요 라이브러리와 코드 변경 없이 즉시 통합 가능하며, CPU 추론을 위한 ONNX 및 OpenVINO 가중치를 제공한다.

python

from sentence_transformers import SentenceTransformer
model = SentenceTransformer("ibm-granite/granite-embedding-311m-multilingual-r2")

# Full 768-dimensional embeddings
full = model.encode(["example text"])
print(full.shape) # (1, 768)

# Truncated to 384 dimensions
small = model.encode(["example text"], truncate_dim=384)
print(small.shape) # (1, 384)

Sentence Transformers를 사용하여 임베딩을 생성하고 Matryoshka 기능을 통해 차원을 축소하는 예시

언급된 리소스

문서Granite Multilingual Embedding R2 Technical Report

GitHubGranite Embedding Collection on Hugging Face