mistralai/Mistral-Small-4-119B-2603-NVFP4
다국어 텍스트 생성 및 추론119Bapache-2.0
Mistral Small 4 119B 모델을 NVIDIA FP4 정밀도로 양자화하여 추론 효율을 극대화한 모델이다.
학습 방식 · Mistral Small 4 119B 기반 NVIDIA FP4 양자화 및 compressed-tensors 기술 적용
핵심 포인트
- FP4 양자화를 통한 추론 속도 및 메모리 효율 개선
- 119B 파라미터급의 강력한 추론 성능 유지
- vLLM 엔진과의 높은 호환성
- 다국어 텍스트 생성
68
LIKES
2.5k
DOWNLOADS
1 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.
