LiquidAI/LFM2-24B-A2B-GGUF
텍스트 생성 및 다국어 대화24B (2B Active)lfm1.0
24B 파라미터의 성능을 유지하며 2B 활성 파라미터로 엣지 기기에서 초고속 추론을 지원하는 하이브리드 MoE 모델입니다.
핵심 포인트
- 토큰당 2B 활성 파라미터로 연산 효율 극대화
- 32GB RAM 이하 소비자용 기기에서 구동 가능
- AMD CPU 기준 112 tok/s, H100 기준 293 tok/s의 빠른 추론 속도
- 한국어를 포함한 9개국 다국어 지원
99
LIKES
18.5k
DOWNLOADS
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.
