TL;DR

DeepSeek-V4-Fable은 DeepSeek-V4-Flash를 기반으로 SecDojo-80K의 80,000개 검증된 CTF 궤적을 이용해 증류 및 도메인 적응을 거친 보안 연구용 모델이다. 학습은 rejection-sampled SFT(assistant reasoning/action spans에 초점)를 먼저 수행한 뒤 온-폴리시 GRPO로 정책을 강화하는 두 단계로 구성되었고 보상은 플래그 취득과 밀도화된 마일스톤을 포함하도록 설계되었다. LoRA 어댑터(rank 64, α 128)를 통해 trainable 0.94B 파라미터를 유지하면서 ROPS 기반의 읽기 전용 파라미터 스트리밍으로 PCIe 병목을 줄여 훈련 효율을 개선했다. 평가에서 GRPO 적용은 전체 solve rate를 58.7%까지 끌어올려 SFT 대비 유의미한 향상을 보였으나 모델은 도메인 특화로 일반 NLP 태스크에서 성능 저하가 예상되고 툴 명령의 환각 가능성 및 남용 위험 때문에 엄격한 샌드박스와 AUP 준수가 요구된다.

핵심 포인트

• CTF/보안 연구용으로 특화된 데이터셋(SecDojo-80K)과 절차적 보상 설계로 도메인 태스크에 최적화된 행동 생성 능력을 갖추었다.
• 온-폴리시 GRPO를 SFT와 결합한 하이브리드 학습 파이프라인으로 탐색 중심 작업에서 큰 성능 향상을 달성했다.
• ROPS 기반의 읽기 전용 파라미터 스트리밍과 LoRA 동결 백본 조합으로 훈련 인프라 병목을 줄이고 실용적 배포 비용을 절감했다.
• GRPO 적용 후 전체 solve rate가 58.7%로 향상되어 SFT(31.2%) 대비 27.5포인트의 성능 증가가 보고되었다.

벤치마크