분산형 추론 파이프라인에서 피드포워드 네트워크(FFN) 가속화

섹션별 상세

기존 추론 파이프라인은 어텐션과 FFN을 단일 하드웨어에서 처리하며 메모리 병목을 겪는다. FFN은 전체 파라미터의 대부분을 차지하지만, KV 캐시와 달리 고정된 메모리 크기를 가져 별도 가속기로 오프로드하기에 최적이다.

SRAM 기반 가속기는 FFN 처리에 특화되어 HBM 기반 GPU보다 낮은 지연 시간을 제공한다. GPU는 높은 배치 사이즈에서 효율적이지만, SRAM 가속기는 낮은 배치 사이즈 환경에서 예측 가능한 성능을 보장한다.

Mixture-of-Experts(MoE) 모델 적용 시, 모든 전문가 가중치를 SRAM에 저장하되 필요한 전문가만 활성화하여 에너지 소비를 줄인다. 이는 기업이 예측 가능한 비용과 성능으로 AI 서비스를 확장하는 데 기여한다.

피드포워드 네트워크(Feed-Forward Network): — 트랜스포머 모델의 레이어 내에서 어텐션 메커니즘 이후에 위치하는 핵심 구성 요소입니다. 입력된 벡터의 차원을 확장하여 학습된 패턴을 적용하고, 최종 출력값을 생성하는 역할을 수행합니다.
분산형 추론(Disaggregated Inference): — 추론 파이프라인의 각 단계(예: 프리필, 디코드)를 서로 다른 하드웨어 자원으로 분리하여 처리하는 아키텍처입니다. 각 하드웨어의 강점을 극대화하여 전체 시스템의 효율을 높입니다.
전문가 혼합 모델(Mixture-of-Experts): — 모델의 전체 파라미터 중 특정 입력에 필요한 전문가 네트워크만 선택적으로 활성화하는 기법입니다. 연산 효율을 높이고 추론 시 에너지 소비를 줄이는 데 효과적입니다.
SRAM: — 고속 메모리 기술의 일종으로, HBM 대비 지연 시간이 짧고 전력 효율이 높습니다. 추론 가속기에서 모델 가중치를 저장하고 빠르게 처리하는 데 유리합니다.