tensor-streaming-processor
Tensor Streaming Processor
Groq의 단일 코어 텐서 처리 구조로서 연속적인 텐서 스트리밍을 통해 데이터 이동을 최소화하고 레이턴시를 낮춘다. 입력 텐서가 연속적으로 파이프라인을 통과하면서 명령 재스케줄링과 컨텍스트 스위칭 오버헤드가 줄어들며 고정 지연 특성을 유지한다. 이 구조는 여러 모델을 단일 칩 아키텍처로 확장할 때 예측 가능한 처리량을 제공한다.
Tensor Streaming Processor
Groq의 단일 코어 텐서 처리 구조로서 연속적인 텐서 스트리밍을 통해 데이터 이동을 최소화하고 레이턴시를 낮춘다. 입력 텐서가 연속적으로 파이프라인을 통과하면서 명령 재스케줄링과 컨텍스트 스위칭 오버헤드가 줄어들며 고정 지연 특성을 유지한다. 이 구조는 여러 모델을 단일 칩 아키텍처로 확장할 때 예측 가능한 처리량을 제공한다.
