quantization-reshaping
양자화 및 텐서 재형성
모델 입력과 내부 텐서를 저정밀 형식으로 변환하고 연산에 적합한 차원과 레이아웃으로 재배치하는 전처리 단계이다. Groq는 이러한 작업을 CPU로 오프로드하지 않고 GroqChip에서 가속해 데이터 이동과 레이턴시를 줄인다. 과학적 인퍼런스에서 대용량 스캔 작업은 이 단계 최적화로 전체 처리시간을 크게 단축한다.
양자화 및 텐서 재형성
모델 입력과 내부 텐서를 저정밀 형식으로 변환하고 연산에 적합한 차원과 레이아웃으로 재배치하는 전처리 단계이다. Groq는 이러한 작업을 CPU로 오프로드하지 않고 GroqChip에서 가속해 데이터 이동과 레이턴시를 줄인다. 과학적 인퍼런스에서 대용량 스캔 작업은 이 단계 최적화로 전체 처리시간을 크게 단축한다.
