LiquidAI/LFM2.5-Encoder-230M
다국어(15개 언어) 텍스트 인코딩 — 파인튜닝 기반 분류·토큰 분류·검색/재랭킹·의미 유사도약 229.7M8K 컨텍스트LFM Open License v1.0
Liquid AI의 LFM2 기반 양방향 인코더로 230M 파라미터에도 ModernBERT 이상의 처리 속도와 17개 태스크 평균 79.29점을 기록한다.
학습 방식 · LFM2 베이스에서 이어받아 causal mask를 양방향 attention으로 바꾸고 마스크드 언어모델링 목표로 대규모 다국어 코퍼스를 2단계 스케줄로 학습해 컨텍스트를 최대 8,192 토큰까지 확장했다.
TL;DR
LFM2.5-Encoder-230M은 Liquid AI가 LFM2 하이브리드 백본(게이트 short-convolution + GQA)의 causal mask를 양방향 attention으로 바꿔 만든 마스크드 언어모델로, 15개 언어와 8,192 토큰 컨텍스트를 지원하는 경량 인코더다. 분류·토큰 분류·검색/재랭킹·의미 유사도 등 다운스트림 태스크에 파인튜닝해 쓰도록 설계됐고, GLUE·SuperGLUE·다국어 분류 17개 태스크 평균에서 79.29점을 기록해 자체보다 큰 EuroBERT-210M(76.87)·XLM-R base(77.46)를 앞섰다. LFM2 백본 덕분에 추론이 빨라 8k 길이 입력에서 CPU 기준 ModernBERT-base보다 3.3배 빠르고 WebGPU 브라우저 실행도 지원한다. 지연·메모리 예산이 타이트한 온디바이스·엣지 환경에서 분류나 검색 백본으로 쓰기에 적합하다.
핵심 포인트
- 230M(약 2.3억) 파라미터로도 17개 태스크 평균 79.29점을 기록해 더 큰 EuroBERT-210M·XLM-R base를 앞선다.
- LFM2 하이브리드 백본을 그대로 써서 8k 길이 입력에서 CPU 기준 ModernBERT-base보다 3.3배 빠르다.
- 15개 언어를 지원하며 WebGPU로 브라우저에서 직접 구동 가능한 경량 인코더다.
- 분류·토큰 분류·검색/재랭킹·의미 유사도·NLI 등 다양한 다운스트림 태스크에 파인튜닝해 쓰도록 설계됐다.
벤치마크
| 벤치마크 | 지표 | 값 | 비교 |
|---|---|---|---|
| 17-task mean (avg@5 seeds) | score | 79.29 | EuroBERT-210M 76.87, XLM-R base 77.46 |
| XNLI | accuracy | 77.63 | — |
| STS-B | Spearman | 90.99 | — |
이미지 분석
83
LIKES
13k
DOWNLOADS
1 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.
