Gemma 2의 성능을 검열 없이 로컬에서, 31B 규모의 SuperGemma4 GGUF
검열 없는 텍스트 생성 및 대화31Bgemma
Gemma 2 아키텍처 기반의 31B 파라미터 모델을 검열 해제(Abliterated) 처리하고 로컬 추론에 최적화된 GGUF 형식으로 양자화한 모델이다.
핵심 역량
- 제약 없는 텍스트 생성
- 복잡한 논리 추론
- 프로그래밍 코드 작성 및 디버깅
- 멀티턴 대화 수행
- 한국어 및 영어 다국어 처리
강점
- 31B 규모의 고성능 모델을 일반 소비자용 GPU에서 실행 가능
- 검열 해제를 통해 민감한 주제나 복잡한 지시에 대해 거부 없는 답변 제공
- GGUF 포맷 지원으로 다양한 로컬 추론 도구와의 높은 호환성
훈련 방식
Gemma 2 기반 아키텍처에 Abliteration 기법을 적용하여 가드레일을 제거한 후 GGUF Q4_K_M 방식으로 양자화
알아두면 좋은 것
- Gemma 2 기반의 31B 파라미터 규모 구성
- Abliterated 기법 적용으로 모델의 검열 및 거부 메커니즘 제거
- Q4_K_M 양자화 적용으로 모델 크기와 성능 간의 균형 최적화
- llama.cpp 및 GGUF 호환 엔드포인트에서 즉시 사용 가능
49
Likes
8.4k
Downloads
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.