TL;DR

Dolphin3-Cyber-8B-GGUF은 Llama 3.1 8B를 기반으로 LoRA(r=16)로 사이버보안 데이터를 중심에 두고 파인튜닝한 모델이며 GGUF 형식으로 11가지 양자화 옵션을 제공해 다양한 로컬 하드웨어에서 실행하도록 설계되어 있다. 학습 과정에서는 Unsloth 프레임워크와 4-bit 양자화를 결합해 약 500 스텝, 2~3시간 내외의 소규모 파인튜닝으로 보안 전반(침투 테스트, 익스플로잇, 하드닝, 포렌식)에 적합한 기술적 출력물을 생성하도록 조정되었다. 모델은 거부 벡터를 제거한 'Abliterated' 상태로 보안 민감 질의에 대해 거부 없이 응답할 수 있으므로 윤리적·법적 책임을 사용자가 부담해야 하고 실환경 적용 전 출력 검증이 필수적이다. 로컬 추론에서는 Q4_K_M을 범용 권장으로 제시하며 Q8_0·F16을 통해 품질 우선 옵션을 제공해 품질·자원 사이의 트레이드오프를 사용자가 선택할 수 있다.

핵심 포인트

• Abliterated 상태로 거부 벡터를 제거해 보안 관련 민감한 쿼리에 대해 거부 없이 응답하도록 설계된 점이 주요 차별화 요소이다.
• GGUF 포맷으로 11가지 양자화 옵션을 제공해 극저사양부터 고정밀(F16)까지 로컬 실행을 고려한 폭넓은 배포 유연성을 제공한다.
• LoRA(r=16)로 도메인 특화된 지식을 주입해 전체 모델을 재학습하지 않고도 보안 전문 출력의 깊이를 확보한 점이 경쟁 모델과 구분된다.
• 로컬 추론을 전제로 GGUF 포맷과 다양한 양자화 옵션을 제공하여 클라우드 의존도를 배제하고 데이터 유출 위험을 낮출 수 있다. 사용자는 하드웨어 상황에 맞춰 Q2_K부터 F16까지 선택해 VRAM·RAM 제약에 맞는 모델을 실행할 수 있다. 이로 인해 민감한 보안 검토나 오프라인 분석 워크플로에 적합하다.

벤치마크