온칩 가속기 메모리(VMEM)
VMEM은 TPU의 온칩 고속 스크래치패드 메모리로서 HBM과 VREGs 사이에서 중간 버퍼 역할을 한다. VMEM을 통해 대용량 데이터 블록을 빠르게 재사용할 수 있으며, HBM에서 VMEM으로의 비동기 복사와 VMEM에서 VREGs로의 전송 타이밍을 맞춰 계산과 통신을 오버랩해야 한다. 효과적인 VMEM 활용은 전체 파이프라인의 처리량과 자원 활용률을 결정한다.
