Databricks, 고성능 다국어 임베딩 모델 Qwen3-Embedding-0.6B 출시

섹션별 상세

Qwen3-Embedding-0.6B는 0.6B 파라미터의 컴팩트한 크기로 설계되었으며, GTE 시리즈를 개발한 연구팀의 Qwen3 기반 기술을 활용하여 높은 검색 효율성을 제공한다. 최대 32k 토큰의 컨텍스트 길이를 지원하여 긴 문서의 청킹 작업에 유연하게 대응할 수 있으며, 지시어 인식(Instruction-aware) 설계를 통해 특정 작업이나 언어에 맞춰 검색 성능을 1~5% 추가로 향상시킬 수 있다.

Matryoshka Representation Learning(MRL) 기법을 도입하여 임베딩 벡터의 차원을 32차원에서 1024차원까지 요청 시점에 자유롭게 선택할 수 있다. 중요한 정보가 앞쪽 차원에 집중되도록 학습되어, 대규모 인덱스에서는 낮은 차원을 사용하여 저장 공간과 검색 비용을 줄이고 정밀한 재순위화(Reranking) 단계에서는 전체 차원을 사용하는 식의 비용-성능 트레이드오프 최적화가 가능하다.

json

{
  "input": "Your text here",
  "dimensions": 256
}

Matryoshka 기능을 사용하여 출력 임베딩 차원을 256으로 설정하는 API 요청 예시

이 모델은 100개 이상의 언어로 사전 학습되어 영어뿐만 아니라 다국어 및 교차 언어(Cross-lingual) 검색에서 뛰어난 성능을 발휘한다. 사용자는 한 언어로 검색하여 다른 언어의 결과를 찾거나, 여러 프로그래밍 언어가 섞인 코드 데이터셋을 처리하는 등 글로벌 엔터프라이즈 환경의 복잡한 데이터 요구사항을 충족할 수 있다.

Databricks의 보안 서버리스 GPU 인프라에서 실행되므로 사용자는 인프라 관리 부담 없이 API 호출만으로 모델을 사용할 수 있다. 데이터가 플랫폼 외부로 유출되지 않는 거버넌스 환경 내에서 Agent Bricks 및 Vector Search와 통합되어, 기업 내부 데이터를 기반으로 추론하고 답변하는 신뢰할 수 있는 AI 에이전트 구축을 지원한다.

이미지 분석

Chart
Databricks가 클라우드 DBMS 시장에서 '리더(Leader)' 그룹에 위치하고 있음을 보여준다. 이는 해당 플랫폼에서 제공하는 임베딩 모델과 벡터 검색 서비스의 신뢰도와 시장 경쟁력을 뒷받침하는 근거로 제시되었다.
2025년 가트너 클라우드 데이터베이스 관리 시스템 부문 매직 쿼드런트 차트

용어 해설

임베딩 모델(Embedding Model): — 텍스트나 이미지 같은 데이터를 고차원의 수치 벡터로 변환하는 AI 모델이다. 의미적으로 유사한 데이터는 벡터 공간에서 가깝게 위치하게 되어 검색이나 분류 작업의 핵심 기반이 된다.
마트료시카 임베딩(Matryoshka Embeddings): — 하나의 벡터 안에 여러 크기의 하위 벡터 정보를 중첩하여 저장하는 기술이다. 앞부분의 일부 차원만 잘라내어 사용해도 전체 성능의 상당 부분을 유지할 수 있어 검색 속도와 저장 용량을 유연하게 조절할 수 있다.
MTEB 벤치마크(MTEB): — Massive Text Embedding Benchmark의 약자로, 임베딩 모델의 성능을 평가하는 가장 대표적인 표준 지표이다. 검색, 분류, 클러스터링 등 다양한 작업에 걸쳐 모델의 품질을 측정한다.
교차 언어 검색(Cross-lingual Retrieval): — 질문 언어와 검색 대상 문서의 언어가 서로 다를 때도 의미적 유사성을 파악하여 결과를 찾아내는 기술이다. 예를 들어 한국어로 질문하고 영어로 작성된 관련 문서를 찾는 것이 가능하다.

기술

Qwen3-Embedding-0.6B
Databricks Model Serving
Agent Bricks
Vector Search
Matryoshka Representation Learning

활용 사례

다국어 RAG 시스템
시맨틱 검색
AI 에이전트 컨텍스트 주입
텍스트 분류