119B 대형 모델을 FP4 양자화로 효율화한 Mistral Small 4
다국어 텍스트 생성 및 추론119Bapache-2.0
Mistral Small 4 119B 모델을 NVIDIA FP4 정밀도로 양자화하여 추론 효율을 극대화한 모델이다.
핵심 역량
- 다국어 텍스트 생성
- 복잡한 추론 및 문제 해결
- vLLM 기반 고속 추론
- 한국어 포함 20개 이상의 언어 지원
강점
- FP4 양자화를 통한 추론 속도 및 메모리 효율 개선
- 119B 파라미터급의 강력한 추론 성능 유지
- vLLM 엔진과의 높은 호환성
훈련 방식
Mistral Small 4 119B 기반 NVIDIA FP4 양자화 및 compressed-tensors 기술 적용
알아두면 좋은 것
- NVIDIA FP4 양자화 적용으로 메모리 효율성 증대
- 한국어를 포함한 광범위한 다국어 지원
- Apache 2.0 라이선스로 상업적 이용 가능
- vLLM 및 compressed-tensors 프레임워크 최적화
68
Likes
2.5k
Downloads
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.