on-chip-memory
온칩 메모리
프로세서 다이 내부에 통합된 글로벌 일관성 메모리로서 모델 파라미터와 중간 활성화를 칩 내부에 유지해 DRAM 왕복을 줄인다. Groq는 이 메모리를 통해 더 많은 모델 상태를 한 번에 적재할 수 있어 빈번한 컨텍스트 재로딩 없이 인퍼런스가 가능하다. 메모리 접근 대역폭과 일관성이 높은 워크로드에서 전체 파이프라인 지연을 크게 낮춘다.
온칩 메모리
프로세서 다이 내부에 통합된 글로벌 일관성 메모리로서 모델 파라미터와 중간 활성화를 칩 내부에 유지해 DRAM 왕복을 줄인다. Groq는 이 메모리를 통해 더 많은 모델 상태를 한 번에 적재할 수 있어 빈번한 컨텍스트 재로딩 없이 인퍼런스가 가능하다. 메모리 접근 대역폭과 일관성이 높은 워크로드에서 전체 파이프라인 지연을 크게 낮춘다.
