Mamba와 하이브리드 어텐션의 결합, 제약 없는 Qwen 3.6 27B 모델
텍스트 및 이미지-텍스트 멀티모달 생성27Bapache-2.0
Qwen 3.6 27B를 기반으로 하이브리드 어텐션과 Mamba 구조를 활용하고 검열을 제거하여 성능과 자유도를 극대화한 모델이다.
핵심 역량
- 제한 없는 텍스트 생성
- 이미지 및 텍스트 멀티모달 입력 처리
- 다국어 대화 및 번역
- 복잡한 시퀀스 추론
- 멀티턴 대화 수행
강점
- Mamba 구조 결합으로 긴 시퀀스 처리 효율성 증대
- Uncensored 특성으로 창의적 글쓰기 및 연구 목적의 자유도 확보
- A100/H100 등 최신 GPU 아키텍처(sm_80, sm_90) 최적화
훈련 방식
Qwen 3.6 27B 기반 하이브리드 어텐션 구조 최적화 및 Abliterated 기법을 통한 검열 제거 파인튜닝
알아두면 좋은 것
- Abliterated 기법 적용으로 안전 가드레일이 제거된 Uncensored 모델임
- Mamba 및 Gated DeltaNet 기반의 하이브리드 어텐션 구조 채택
- BF16(Bfloat16) 정밀도를 통한 수치 안정성 확보
- Apache 2.0 라이선스로 상업적 이용 및 수정 가능
75
Likes
5k
Downloads
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.