reverse-mode-autodiff

입력에 대한 출력의 기울기를 효율적으로 계산하는 방법으로, 순전파 동안 연산 그래프를 동적으로 구성하고 역전파를 통해 기울기를 전파한다. 이 글 맥락에서는 forward 실행 시점에 backward 연산을 즉시 구성하는 define-by-run 방식으로 구현되어 모델 구조가 런타임에 결정될 때도 유연하게 동작한다. 역전파 자동미분은 복잡한 모델에서 파라미터별 기울기를 정확하게 계산해 학습을 가능하게 한다.