GPU 메모리 오버헤드
딥러닝 모델 학습 시 실제 가중치 외에 연산 과정에서 발생하는 추가적인 메모리 점유이다. 이 오버헤드가 크면 배치 크기를 줄여야 하거나 학습이 중단되므로 이를 최적화하는 것이 대규모 모델 학습의 핵심이다.