321B 파라미터와 MFA·AFD로 저비용 멀티모달 추론 실현
Step3는 MFA와 AFD 설계로 KV 캐시와 attention FLOPs를 축소하고 StepMesh 기반 분산 추론으로 4096 컨텍스트에서 GPU당 최대 4039 TGS를 달성한 321B 멀티모달 모델이다.
StepFun에서 수집한 AI/ML 콘텐츠를 모아볼 수 있는 전용 피드입니다.
Step3는 MFA와 AFD 설계로 KV 캐시와 attention FLOPs를 축소하고 StepMesh 기반 분산 추론으로 4096 컨텍스트에서 GPU당 최대 4039 TGS를 달성한 321B 멀티모달 모델이다.
StepFun-Prover는 Lean 4 REPL과의 반복 상호작용을 학습하는 도구 통합 강화학습으로 32B 모델이 miniF2F에서 70.0% pass@1을 달성했다.