Attention-FFN 분해(ADP)
Attention-FFN Disaggregation는 모델의 attention 블록과 Feed-Forward Network(FFN)를 서로 다른 실행 단위로 물리적으로 분리해 병렬 파이프라인으로 운영하는 방법이다. 이 구조는 attention과 FFN을 서로 다른 장치에서 동시에 실행하게 해 GPU 활용률을 극대화하고 전체 추론 지연을 줄인다. Step3는 AFD와 전용 통신 라이브러리 StepMesh를 결합해 낮은 지연과 높은 처리량을 달성했다.
