TL;DR

LFM2.5-Encoder-350M은 LFM2.5-Encoder 패밀리의 상위 크기로, 같은 LFM2 하이브리드 백본을 양방향 attention 마스크드 언어모델로 바꿔 15개 언어·8,192 토큰 컨텍스트를 지원한다. GLUE·SuperGLUE·다국어 분류 17개 태스크 평균에서 81.02점을 기록해 XLM-R large(560M, 81.34)에 근접하고 ModernBERT-base(78.19)·XLM-R base(77.46)를 앞서며, 자사의 검색 특화 자매 모델(LFM2.5-ColBERT-350M 76.18)보다도 약 5점 높다. LFM2 백본의 추론 속도 이점을 그대로 이어받아 8k 길이 입력에서 CPU 기준 ModernBERT-base보다 3.3배 빠르다. 더 작은 230M 버전과 API가 동일해 품질과 지연 요구에 맞춰 두 크기 중 하나를 선택해 파인튜닝할 수 있다.

핵심 포인트

• 350M(약 3.5억) 파라미터로 17개 태스크 평균 81.02점을 기록해 동급 이하 모델을 모두 앞서고 자사 검색용 자매 모델보다 약 5점 높다.
• LFM2 하이브리드 백본 덕분에 8k 길이 입력에서 CPU 기준 ModernBERT-base보다 3.3배 빠르다.
• 15개 언어를 지원하는 마스크드 언어모델로 분류·토큰 분류·검색/재랭킹·의미 유사도에 파인튜닝해 쓸 수 있다.
• 더 작은 230M 버전과 API가 동일해 지연·품질 요구에 맞춰 두 크기 중 선택할 수 있다.

벤치마크

이미지 분석