1.8B 활성 파라미터의 효율성, GigaChat 3.1 MoE 양자화 모델
텍스트 생성 및 대화형 AI10B (Active 1.8B)mit
GigaChat 3.1 10B-A1.8B 베이스 모델을 GGUF 형식으로 양자화하여 로컬 환경에서 효율적인 추론과 도구 사용 기능을 지원하는 MoE 언어 모델이다.
핵심 역량
- 멀티턴 대화 수행
- 외부 도구 호출 및 연동(Tool-use)
- 긴 컨텍스트 기반 정보 처리
- 러시아어 및 영어 텍스트 생성
강점
- 1.8B 활성 파라미터로 낮은 연산 자원 소모 및 빠른 추론 속도
- GGUF 포맷을 통한 CPU 및 GPU 혼합 추론 지원
- MIT 라이선스로 제약 없는 상업적 활용 가능
훈련 방식
GigaChat 3-10B-A1.8B-base 모델을 기반으로 GGUF 양자화 및 인스트럭트 튜닝 적용
알아두면 좋은 것
- 전체 10B 파라미터 중 1.8B개만 활성화하는 효율적인 MoE 구조
- GGUF 포맷 적용으로 로컬 환경 추론 최적화
- MIT 라이선스를 채택하여 상업적 이용 및 수정이 자유로움
- 러시아어와 영어 중심의 다국어 지원 및 대화 특화
47
Likes
8.9k
Downloads
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.