gradient-checkpointing

역전파 과정에서 필요한 중간 활성화 값을 모두 저장하는 대신 일부만 저장하고 필요할 때 다시 계산하는 메모리 절약 기법이다. 메모리 사용량을 줄이는 대신 계산 시간이 늘어나는 것이 일반적이지만, 본문에서는 최적화를 통해 속도까지 향상시켰다.