1B 미만 모델 중 MTEB 1위, 4B급 성능을 677M 파라미터에 담은 차세대 임베딩
텍스트 임베딩 및 특징 추출 (검색, 문장 유사도, 클러스터링, 분류)677M32K 컨텍스트cc-by-nc-4.0
32K 컨텍스트와 119개 언어를 지원하며, 지식 증류를 통해 소형 모델임에도 압도적인 검색 및 분류 성능을 제공합니다.
핵심 역량
- 119개 이상의 다국어 지원 (한국어 포함)
- 최대 32,768 토큰의 긴 컨텍스트 처리
- Matryoshka 임베딩 (32~1024 차원 가변 조절)
- MTEB English v2 평균 71.7점 기록
- 태스크별 전용 어댑터(Retrieval, Clustering 등) 지원
- Flash Attention 2 및 이진 양자화 대응
알아두면 좋은 것
- MTEB English v2(71.7) 및 MMTEB(67.7)에서 1B 미만 모델 중 1위 달성
- 한국어를 포함한 119개 이상의 언어에 대해 강력한 임베딩 성능 제공
- Qwen3-Embedding-4B 모델로부터 지식 증류를 통해 효율성 및 성능 극대화
- GGUF 양자화 및 vLLM, TEI 등 다양한 추론 엔진 공식 지원
97
Likes
18.4k
Downloads
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.