dealignai/GLM-5.3-CYBERSECURITY-FP8
사이버보안 중심의 text-generation 및 대화형 질의 응답753B total131K 컨텍스트MIT
GLM-5.3-FP8의 bf16 residual writer만 수정해 사이버보안 관련 refusal을 완화한 native FP8 모델
학습 방식 · zai-org/GLM-5.3 및 JANGQ-AI/GLM-5.3-FP8을 기반으로 routed FP8 expert는 유지하고 bf16 residual writer만 직접 수정한 weight modification 방식이며, Fine-tuning·LoRA·runtime hook은 사용하지 않았습니다.
TL;DR
이 모델은 JANGQ-AI/GLM-5.3-FP8을 기반으로 가중치를 직접 수정한 사이버보안 특화 CRACK 모델이며, Fine-tuning이나 LoRA 없이 offensive security 관련 refusal을 완화했습니다. Routed FP8 expert는 유지하고 bf16 residual writer만 편집해 Hopper GPU의 native FP8 실행 구조를 보존합니다. 8× H200에서 vLLM TP8 구성과 131,072 토큰 컨텍스트를 사용할 수 있으며, MMLU는 기반 모델보다 1.07pp 높은 86.65%를 기록했습니다. 일반적인 uncensor 모델이 아니라 red-team, exploit development, malware analysis, authorized penetration testing에 초점을 둔 모델입니다.
핵심 포인트
- 전체 Fine-tuning이나 LoRA 대신 bf16 residual writer만 수정해 사이버보안 관련 refusal을 완화합니다.
- Routed FP8 expert를 그대로 유지해 Hopper GPU에서 native FP8 tensor-core 실행을 지원합니다.
- MMLU-logit 평가에서 86.65%를 기록해 기반 모델의 85.58%보다 1.07pp 높았습니다.
- 8× H200과 vLLM TP8 구성에서 131,072 토큰 컨텍스트와 prefix caching을 사용할 수 있습니다.
제한사항
- 사이버보안 영역에 맞춘 모델이라 무기·화학·생물학 등 모든 영역의 refusal을 일관되게 제거하는 범용 uncensor 모델은 아닙니다.
- 저작권 원문 재현에는 여전히 soft refusal이 남아 있으며, 평가에서 copyright TRUE_COMPLY 비율은 reasoning surface별 11~20%였습니다.
- 동시성 환경에서는 DeepSeek-sparse attention path 때문에 vLLM의 --enforce-eager가 필요하고, regular GLM-5.3의 MTP speculative decoding은 현재 작동하지 않습니다.
벤치마크
| 벤치마크 | 지표 | 값 | 비교 |
|---|---|---|---|
| MMLU overall (1026 Q) | logit-mode accuracy | 86.65% (889/1026) | 기반 모델 85.58%, Δ +1.07pp; 기반 FP8과의 직접 비교는 확인 대기 |
| HarmBench-320 cyber_offense | TRUE_COMPLY | 89% / 89% / 84% (off / low / max reasoning effort) | 사이버보안 공격 관련 요청을 대상으로 한 모델의 의도된 평가 영역 |
152
LIKES
15.6k
DOWNLOADS
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.
