Qwen 3.6의 하이브리드 아키텍처와 무검열 성능의 결합
텍스트 및 이미지-텍스트 멀티모달 생성27Bapache-2.0
Qwen 3.6 27B 모델을 기반으로 하이브리드 어텐션과 Mamba 구조를 활용하여 검열 없이 지시를 수행하도록 최적화된 모델이다.
핵심 역량
- 멀티턴 대화 수행
- 이미지 및 텍스트 입력을 통한 멀티모달 추론
- 검열 없는 자유로운 텍스트 생성
- 긴 문맥 기반의 정보 처리
강점
- Mamba와 Hybrid Attention을 통한 효율적인 시퀀스 처리
- 검열 가드레일을 제거하여 지시 이행의 자율성 확보
- 27B 파라미터 규모로 정교한 추론 성능 제공
훈련 방식
Qwen 3.6 27B 기반의 파인튜닝 모델로, Abliterated 기법과 하이브리드 어텐션 구조를 적용하여 무검열 성능을 확보했다.
알아두면 좋은 것
- Qwen 3.6 27B 모델을 기반으로 한 파인튜닝 버전임
- Abliterix 및 Fernflower SSM Repair 기법 적용
- Apache 2.0 라이선스로 상업적 이용 가능
- 영어 및 중국어를 포함한 다국어 지원
49
Likes
1.1k
Downloads
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.