이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
Step3는 321B 파라미터·토큰당 38B 활성화라는 설계 하에서 디코딩 비용을 줄이는 데 초점을 맞춘 멀티모달 모델이다. 핵심 기법으로 Multi-Matrix Factorization Attention으로 KV 캐시와 attention FLOPs를 축소하고 Attention-FFN Disaggregation과 GPUDirect 기반 StepMesh 통신으로 attention과 FFN을 병렬화해 GPU 활용률과 토큰 처리량을 높였다. 공개된 결과는 4096 컨텍스트, FP8 환경에서 GPU당 최대 4039 token/sec를 달성해 동급 모델 대비 효율 우위를 보였으며 사전학습은 20조 텍스트 토큰과 4조 이미지-텍스트 토큰을 활용했다. 다만 MoE 확장 과정에서 관측된 'dead expert' 현상과 멀티모달 학습에서 텍스트·시각 성능의 균형 문제가 남아 있어 추가 연구가 필요하다.
빠른 이해
새로운 점
디코딩 비용을 중점으로 한 모델·시스템 공동설계 접근을 MFA와 AFD, GPUDirect 기반의 StepMesh로 결합해 실사용 수준의 낮은 추론 비용과 높은 토큰 처리량을 동시에 달성한 점.
핵심 메커니즘
입력으로 이미지와 텍스트를 통합 토큰으로 변환한 뒤 MFA로 attention 연산과 KV 캐시를 축소하고 MoE로 토큰당 활성 파라미터를 스파스하게 처리하며, AFD와 StepMesh를 이용해 attention과 FFN을 분리·병렬 실행해 높은 토큰 처리량과 낮은 디코딩 비용을 실현한다.
핵심 수치
- 총 파라미터: 321B
- 토큰당 활성화 파라미터: 38B
- 사전학습 텍스트 토큰 규모: 20T (총), 3.7T는 annealing 보류
- 멀티모달 토큰(이미지-텍스트): 4T
- Peak TGS (4096 context, fp8 attn): 4039 token/GPU/sec- 동일 조건의 DeepSeek-V3는 2324 token/GPU/sec
섹션별 상세
개요 및 목표
Step3는 321B 총 파라미터와 토큰당 38B 활성화 파라미터를 가진 멀티모달 추론 모델로, 디코딩 비용을 줄이면서 시각·언어 추론 성능을 높이는 것을 목표로 한다. 모델은 Multi-Matrix Factorization Attention(MFA)과 Attention-FFN Disaggregation(AFD)라는 두 가지 핵심 설계를 중심으로 모델-시스템 협업을 통해 하드웨어 효율을 끌어올리도록 설계되었다. 공식 발표와 기술보고서에서 사전학습·아키텍처·추론 인프라 성능과 한계를 수치와 함께 제시해 실제 재현 가능성을 확보했다.
주요 성능 비교와 토큰 처리량
공개된 벤치마크와 비교에서 Step3는 동일 조건 하에서 DeepSeek-V3보다 높은 토큰 처리량을 보고했다. 특히 4096 컨텍스트, FP8 attention 설정에서 1 GPU당 최대 4039 token/GPU/sec를 달성해 DeepSeek-V3의 2324 대비 약 70% 높은 처리량을 보였다. 이 수치는 50ms TPOT SLA(디코드 지연) 제약 하에서 측정된 것으로, 짧은 지연과 높은 처리량을 동시에 만족시키는 점이 주요한 성능 지표로 제시되었다.
근거
- 4096 컨텍스트, FP8 attention 조건에서 Step3는 GPU당 최대 4039 token/GPU/sec를 기록했으며 동일 조건의 DeepSeek-V3는 2324 token/GPU/sec였다. — 인프라·성능 결과 표와 성능 비교 단락 출처
사전학습 데이터와 전처리 파이프라인
사전학습 단계에서 Step3는 20조(text) 토큰 규모의 데이터와 4조 이미지-텍스트 혼합 토큰을 사용했고 그중 3.7조 토큰은 annealing 단계 전용으로 보류했다. 원문은 데이터 품질을 위해 문서 파서, 10종 이상의 전문 NLP 모델을 통한 품질·주제 평가, MinHash 기반 중복 제거, 도메인 인식 샘플링을 포함한 다단계 파이프라인을 운영했다고 보고했다. 해당 파이프라인은 100억 개 이상의 소스 문서를 처리한 분산 CPU/GPU 클러스터를 활용해 필터링 임계값과 샘플링 전략을 실험적으로 조정했다고 기술되었다.
아키텍처 설계와 MFA
Step3 아키텍처는 디코딩 비용을 줄이는 데 초점을 맞춰 설계되었고, 핵심 기술로 Multi-Matrix Factorization Attention(MFA)을 도입해 KV 캐시 요구량과 attention FLOPs를 대폭 절감했다. 원문에서는 MFA 적용으로 DeepSeek V3 대비 토큰당 attention 비용을 22% 수준으로 낮춘다고 명시했고, 이를 통해 긴 chain-of-thought 추론에서 더 깊은 추론을 동일한 예산으로 가능하게 한다고 기술했다. 또한 MoE 계층과 높은 산술 집약도를 조합해 토큰당 활성 파라미터를 38B로 유지하면서도 총 파라미터는 321B로 확장한 설계적 균형을 제시했다.
근거
- Step3는 MFA 적용으로 DeepSeek V3 대비 토큰당 attention 비용을 약 22% 수준으로 낮췄다. — 아키텍처 섹션의 MFA 설명 단락 및 성능 비교 표 출처
멀티모달 경로 및 비전 인코더
시각 경로는 Eva-CLIP 기반의 5B 파라미터 비전 인코더를 중심으로 설계되며, 2단계의 2D 컨볼루션으로 공간 해상도를 1/16로 줄여 시각 토큰을 생성한다. 이렇게 압축된 비주얼 토큰은 텍스트 토큰과 합쳐져 LLM으로 입력되어 멀티모달 표현을 형성하며, 멀티모달 학습은 시각 인코더의 초기 단계 합동최적화 후 인코더를 고정하고 Connector와 LLM을 추가 학습하는 두 단계로 나뉜다. 공개된 데이터 구성은 Paired, Interleaved, Multi-Task로 구분되며 Paired 데이터는 클린징·중복 제거·재균형 작업을 거쳐 사용되었다.
후속 학습(파인튜닝)과 정렬 절차
후속 단계는 다중모달 수학·프로그래밍·논리 문제를 포함한 선별된 대화 데이터로 supervised fine-tuning을 먼저 수행하고, 이후 RL(보상 기반 최적화)을 통해 정책을 개선하는 두 단계로 구성되었다. 구조화된 문제는 자동 검증되는 밀집 보상을 사용하고, 개방형 과제는 선호모델 또는 사람 피드백으로 보강하였으며 안정적인 정책 업데이트를 위해 value network를 도입했다. 에이전트 기능 강화를 위해 역합성(reverse synthesis), DAG 기반 정제, 거부 샘플링 및 난이도 기반 필터링을 적용해 훈련 샘플의 다양성과 검증 가능성을 확보했다.
인프라·AFD·StepMesh 구현
Attention-FFN Disaggregation(AFD)는 attention 연산과 FFN 연산을 물리적으로 분리해 멀티-스테이지 파이프라인으로 병렬 실행함으로써 GPU 활용률을 높이는 설계이다. 이를 위해 GPUDirect RDMA 기반의 StepMesh 통신 라이브러리를 개발해 초저지연·제로 SM 사용 통신을 구현했고, StepMesh는 오픈소스로 공개되었다. 실험 결과는 Hopper GPU 환경에서 4096 컨텍스트 기준으로 엄격한 50ms 디코드 SLA 하에 높은 토큰 처리량을 달성했음을 보여주며, 동일 조건에서 DeepSeek-V3보다 적은 수의 GPU로 더 높은 처리량을 얻었다.
제한점과 향후 연구 과제
대규모 MoE 스케일 업 과정에서 'dead expert' 현상이 관찰되었으며, 이는 라우팅 불균형이 아니라 일부 전문가의 출력 가중치 노름이 훈련 중 소실되어 기여도가 급감하는 새로운 실패 모드로 규명되었다. 또한 장기간의 멀티모달 추론 학습에서 텍스트 추론 성능이 향상될수록 시각 인식 정확도가 저하되는 트레이드오프가 관찰되어 시각·언어 성능의 균형 문제가 남아 있다. 문서에서는 이러한 이슈를 추가 조사 중이라고 명시했고 향후 연구 결과를 공유할 예정이라고 밝혔다.
용어 해설
- Mixture of Experts
- — Mixture-of-Experts는 입력 토큰마다 소수의 전문가(expert) 서브네트워크만 활성화해 전체 파라미터 중 일부만 연산에 참여시키는 방식이다. 이 구조는 활성화된 파라미터 수를 조절해 처리 효율과 표현력을 동시에 확보하며, 대형 모델에서 추론·학습 비용을 줄이는 데 기여한다. Step3에서는 MoE 설계를 통해 토큰당 활성 파라미터를 38B로 유지하면서도 전체 모델 파라미터는 321B로 확장했다.
- KV cache
- — KV 캐시는 autoregressive 추론 시 과거 키(key)와 값(value) 행렬을 저장해 재계산을 피하는 메모리 구조이다. 긴 컨텍스트를 처리할수록 KV 캐시 크기가 커지고 메모리·대역폭 비용이 급증하기 때문에 이를 줄이는 기법은 추론 비용 절감에 결정적이다. Step3는 MFA를 통해 KV 캐시 요구량과 attention FLOPs를 크게 낮추었다고 보고했다.
- Attention-FFN Disaggregation
- — Attention-FFN Disaggregation는 모델의 attention 블록과 Feed-Forward Network(FFN)를 서로 다른 실행 단위로 물리적으로 분리해 병렬 파이프라인으로 운영하는 방법이다. 이 구조는 attention과 FFN을 서로 다른 장치에서 동시에 실행하게 해 GPU 활용률을 극대화하고 전체 추론 지연을 줄인다. Step3는 AFD와 전용 통신 라이브러리 StepMesh를 결합해 낮은 지연과 높은 처리량을 달성했다.
- Arithmetic Intensity
- — 산술 집약도는 주어진 연산에서 수행되는 산술 연산(FLOPs)과 메모리 접근(바이트) 비율을 나타내는 지표로, 하드웨어에서의 연산 효율성을 판단하는 핵심 수치이다. 모델의 attention 연산이 메모리 바운드인지 연산 바운드인지 판별할 때 사용되며, 높은 산술 집약도는 GPU 자원을 더 효율적으로 활용함을 의미한다. Step3는 attention 산술 집약도를 하드웨어 특성에 맞춰 설계해 디코딩 비용을 낮췄다.
- Activated Parameters
- — 활성화된 파라미터는 특정 토큰 처리 시 실제로 연산에 참여하는 파라미터의 수를 뜻한다. MoE 구조에서는 전체 파라미터 대비 토큰당 활성화되는 파라미터가 적기 때문에 '활성화된 파라미터' 개념이 비용·성능 트레이드오프를 설명하는 핵심 지표가 된다. Step3는 토큰당 약 38B를 활성화해 효율적 추론을 도모했다.
코드 예제
text
@misc{step3system,
title={Step-3 is Large yet Affordable: Model-system Co-design for Cost-effective Decoding},
author={StepFun Team},
year={2025},
eprint={2507.19427},
archivePrefix={arXiv},
primaryClass={cs.LG},
url={https://arxiv.org/abs/2507.19427},
}
@misc{step3blog,
title={Step3: Cost-Effective Multimodal Intelligence},
author={StepFun Team},
url={https://stepfun.ai/research/step3},
}문헌 인용용 BibTeX 항목으로 논문과 블로그 포스트의 참고정보를 제공한다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
수집 2026. 07. 22.출처 타입 WEB
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
