리머티리얼라이제이션
메모리 절약을 위해 중간 연산 결과를 저장하는 대신 필요할 때 다시 계산하는 기법이다. 체크포인팅(Checkpointing)이라고도 불리며, 메모리 대역폭을 더 사용하는 대신 더 큰 배치 사이즈나 모델을 학습할 수 있게 한다.
TPU 학습의 고통은 끝, PyTorch/XLA를 위한 초간편 프레임워크 등장
TPU 학습이 고통스러웠나요? PyTorch/XLA를 위한 초간편 프레임워크 등장
TPU 학습의 고통은 끝났다? 10B 모델까지 지원하는 easy-torch-tpu
TPU 학습의 고통은 끝, 10B 모델까지 지원하는 초간편 프레임워크