TL;DR

DeepSeek-V4-Fable은 DeepSeek-V4-Flash를 기반으로 SecDojo-80K의 80,000개 검증된 CTF 궤적을 이용해 증류 및 도메인 적응을 거친 보안 연구용 모델이다. 학습은 rejection-sampled SFT(assistant reasoning/action spans에 초점)를 먼저 수행한 뒤 온-폴리시 GRPO로 정책을 강화하는 두 단계로 구성되었고 보상은 플래그 취득과 밀도화된 마일스톤을 포함하도록 설계되었다. LoRA 어댑터(rank 64, α 128)를 통해 trainable 0.94B 파라미터를 유지하면서 ROPS 기반의 읽기 전용 파라미터 스트리밍으로 PCIe 병목을 줄여 훈련 효율을 개선했다. 평가에서 GRPO 적용은 전체 solve rate를 58.7%까지 끌어올려 SFT 대비 유의미한 향상을 보였으나 모델은 도메인 특화로 일반 NLP 태스크에서 성능 저하가 예상되고 툴 명령의 환각 가능성 및 남용 위험 때문에 엄격한 샌드박스와 AUP 준수가 요구된다.

핵심 역량

• CTF 챌린지 해결을 위한 단계적 탐색과 플래그 검증 중심의 행동 생성이 가능하다.
• 툴 호출과 환경 관찰을 포함한 도구 지향적 액션 시퀀스를 생성할 수 있다.
• 장기 컨텍스트(최대 96K 토큰)를 유지하며 이전의 정찰 결과를 재활용하는 다단계 워크플로를 수행할 수 있다.
• 영어, 중국어, 일본어, 프랑스어를 포함한 다국어 입력을 처리할 수 있다.

강점

• GRPO 적용 후 전체 solve rate가 58.7%로 향상되어 SFT(31.2%) 대비 27.5포인트의 성능 증가가 보고되었다.
• LoRA 기반의 trainable 0.94B 파라미터(0.33%)와 ROPS 오프로드를 결합해 파라미터 효율성과 추론/훈련 인프라 병목 완화라는 실용적 이점을 확보했다.

훈련 방식

DeepSeek-V4-Flash를 기반으로 rejection-sampled SFT(assistant reasoning/action spans에 대한 token cross-entropy, LoRA 백본 사용)로 초기 적응을 수행한 뒤 온-폴리시 GRPO를 통해 샌드박스 보상으로 정책을 강화하는 하이브리드 절차로 학습했다.

알아두면 좋은 것

• 라이선스는 OpenRAIL이며 모델 접근과 사용은 명시된 Acceptable Use Policy에 따라 엄격히 제한되어 있다.
• 학습 데이터는 SecDojo-80K로, 80,000개의 검증된 CTF 궤적을 교사 모델 유도로 합성하고 제출 플래그 검증과 루프 제거 등 엄격한 필터링을 거쳤다.
• 학습 파이프라인은 rejection-sampled SFT와 GRPO의 두 단계로 구성되며 보상은 터미널 플래그 취득과 밀도 있는 마일스톤을 포함하도록 설계되었다.
• 인프라 최적화로 64× NVIDIA H800-80GB를 사용해 SFT+GRPO 합계 1,920 GPU-h를 보고했으며 ROPS 적용으로 클러스터 시간이 대폭 단축되었다.

기술적 특징

• 모델 구조 관점에서 DeepSeek-V4-Fable은 DeepSeek-V4-Flash를 기반으로 하는 증류(작업 지향적 Fable 버전) 형태이며 증류 과정으로 원본의 태스크 지향성을 보존하면서 더 경량화된 형태로 배포되었다. 이 접근은 CTF 문제처럼 절차적 신뢰성이 중요한 작업에서 실용적 포맷으로 활용하기 위한 것이다. 가중치 세부치는 README의 기반 모델 표기와 LoRA 어댑터를 통해 유지되었다.
• 학습 파이프라인은 두 단계로 설계되었고 1단계는 rejection-sampled Supervised Fine-Tuning으로 assistant의 reasoning과 action 구간에만 토큰 교차엔트로피를 적용하고 관찰은 마스크 처리했다. 2단계는 Group Relative Policy Optimization(GRPO)으로 온-폴리시 롤아웃을 그룹 단위로 수행하며 보상은 플래그 취득과 다수의 검증 가능한 마일스톤으로 밀도화되었다. 이 조합이 탐색 중심의 Pwn 및 Reverse Engineering 분할에서 큰 성능 향상을 만들어냈다.
• 모델은 LoRA 어댑터를 활용해 rank 64, α 128, dropout 0.05 설정으로 일부 토큰과 전문가 가중치(q,k,v,o 및 experts w₁,₂,₃와 router)에만 학습 가능한 파라미터를 두었으며 결과적으로 trainable 0.94B(전체의 0.33%)를 표기했다. 이 설계는 전체 모델을 재학습하지 않고도 도메인 적응과 빠른 실험을 가능하게 했으며 동결된 백본과의 통합으로 ROPS 최적화와 결합되었다.
• 인프라 최적화로 Read-Only Parameter Streaming(ROPS)을 도입해 ZeRO-3 CPU 오프로딩을 정적 프리패치 방식으로 개선했고 이로 인해 PCIe 병목과 스텝당 지연이 줄어들었다. 레포트에서는 ROPS 채택으로 클러스터 실행 시간이 63시간에서 30시간으로 단축되었다고 보고되어 실제 훈련 비용과 에너지 소비 절감에 기여했다.
• 보상 설계 측면에서 단말 플래그 보상 외에 dense milestone 보상을 포함시키고 KL 앵커를 도입해 정책 붕괴와 비생산적 페이로드 스프레이링을 방지했다. ablation 결과에서 dense milestone과 KL 앵커는 다단계 챌린지 성능 향상과 정책 안정성 유지에 핵심 역할을 한 것으로 나타났다.

차별점

• CTF/보안 연구용으로 특화된 데이터셋(SecDojo-80K)과 절차적 보상 설계로 도메인 태스크에 최적화된 행동 생성 능력을 갖추었다.
• 온-폴리시 GRPO를 SFT와 결합한 하이브리드 학습 파이프라인으로 탐색 중심 작업에서 큰 성능 향상을 달성했다.
• ROPS 기반의 읽기 전용 파라미터 스트리밍과 LoRA 동결 백본 조합으로 훈련 인프라 병목을 줄이고 실용적 배포 비용을 절감했다.

벤치마크