CyberSecQwen-4B: 방어적 사이버 보안을 위해 작고 전문화된 로컬 실행 모델이 필요한 이유

섹션별 상세

방어적 사이버 보안 환경에서는 데이터 유출 위험과 비용 문제로 인해 폐쇄형 API 모델 사용이 제한적입니다. SOC 분석가나 악성코드 분석가는 민감한 증거 데이터를 외부 서버로 전송할 수 없으며, 수천 건의 경고를 처리하는 비용 또한 상용 API로는 감당하기 어렵습니다. CyberSecQwen-4B는 이러한 제약을 극복하기 위해 12GB VRAM을 가진 소비자용 GPU에서도 실행 가능한 로컬 모델로 설계되었습니다. 이를 통해 에어갭(Air-gapped) 환경이나 정부 기관 등 보안이 극도로 중요한 곳에서도 AI 기반 자동화가 가능해집니다.

CyberSecQwen-4B는 4B 파라미터라는 작은 크기에도 불구하고 8B급 전문 모델인 Foundation-Sec-Instruct-8B와 대등한 성능을 기록했습니다. CTI-Bench 평가에서 CTI-MCQ 점수는 0.5868로 8B 모델(0.4996)보다 약 8.7pp 높았으며, CVE-to-CWE 매핑 정확도는 97.3% 수준을 유지했습니다. 이는 범용 모델을 단순히 작게 만드는 것보다 특정 도메인에 맞춰 정교하게 파인튜닝하는 것이 효율성 측면에서 더 유리함을 증명합니다. 결과적으로 연구자들은 더 적은 하드웨어 자원으로도 고성능 보안 분석 도구를 운용할 수 있게 되었습니다.

근거

CyberSecQwen-4B는 Foundation-Sec-Instruct-8B보다 CTI-MCQ 점수에서 8.7pp 높은 성능을 보였다. — Why a small specialized model 섹션의 성능 비교 표

학습 과정에서 AMD Instinct MI300X의 192GB HBM3 메모리를 활용하여 양자화나 그래디언트 체크포인팅 없이 Full bf16 정밀도로 학습을 완료했습니다. ROCm 7.0과 vLLM 스택을 기반으로 FlashAttention-2를 적용하여 Qwen3-4B-Instruct 모델을 LoRA 기법으로 튜닝했습니다. 특히 Qwen3-4B-Instruct의 헤드 차원(128)이 MI300X의 공유 메모리 구조에 최적화되어 Gemma 기반 모델보다 약 1.6배 빠른 학습 속도를 보였습니다. 이러한 하드웨어 최적화는 단일 GPU 인스턴스 내에서 전체 파이프라인을 효율적으로 실행할 수 있게 했습니다.

근거

AMD MI300X에서 Qwen 기반 학습이 Gemma 기반보다 약 1.6배 빠른 스텝 시간을 기록했다. — The recipe 섹션의 FlashAttention-2 관련 설명

학습 데이터는 MITRE 및 NVD의 공공 기록에서 추출한 2021년 CVE-to-CWE 매핑 데이터와 이를 기반으로 생성된 합성 Q&A 데이터셋을 사용했습니다. 평가 데이터와의 중복을 엄격히 제거하여 벤치마크 결과의 신뢰성을 확보했으며, Apache-2.0 라이선스를 준수하여 배포 가능성을 높였습니다. 단순한 사전 학습 모델이 아닌 지시어 튜닝(Instruction-tuned)된 체크포인트를 기반으로 파인튜닝을 진행하여 다지선다형 응답 형식을 유지하면서도 도메인 지식을 성공적으로 주입했습니다. 이는 지시어 튜닝 과정에서 발생할 수 있는 형식 붕괴 현상을 방지하고 전문성을 극대화한 전략입니다.

기술

CyberSecQwen-4B
AMD Instinct MI300X
ROCm 7.0
vLLM
PyTorch
FlashAttention-2
LoRA

활용 사례

CWE 취약점 분류
CVE-to-CWE 매핑 자동화
구조화된 사이버 위협 인텔리전스(CTI) 질의응답
보안 관제 센터(SOC) 분석 보조

언급된 리소스

문서CyberSecQwen-4B Model Card

DemoCyberSecQwen Chat Demo