GPU Memory Wall
GPU 메모리 장벽
GPU에서 모델 가중치는 HBM에 저장되고 연산 코어와 분리되어 있습니다. 추론할 때마다 가중치를 코어로 옮겨야 하므로 모델이 커질수록 산술 연산보다 데이터 이동과 칩 간 통신이 병목이 되는 현상입니다.
GPU 메모리 장벽
GPU에서 모델 가중치는 HBM에 저장되고 연산 코어와 분리되어 있습니다. 추론할 때마다 가중치를 코어로 옮겨야 하므로 모델이 커질수록 산술 연산보다 데이터 이동과 칩 간 통신이 병목이 되는 현상입니다.
