Reverse-mode AD
역전파 자동미분
출력에서 입력으로 기울기를 전파하는 자동미분 방식으로, 순전파 동안 계산 그래프를 동적으로 구축한 뒤 역전파에서 그래프를 따라 체인 룰로 기울기를 계산한다. 이 방식은 다수의 입력에 대해 하나의 출력이 있는 모델에서 효율적이며 딥러닝 프레임워크의 표준 방식으로 쓰인다. 게시물 맥락에서는 forward 동안 노드를 생성하는 동적 그래프 방식으로 구현되어 GPU 없이도 모델 훈련을 가능하게 한다.
역전파 자동미분
출력에서 입력으로 기울기를 전파하는 자동미분 방식으로, 순전파 동안 계산 그래프를 동적으로 구축한 뒤 역전파에서 그래프를 따라 체인 룰로 기울기를 계산한다. 이 방식은 다수의 입력에 대해 하나의 출력이 있는 모델에서 효율적이며 딥러닝 프레임워크의 표준 방식으로 쓰인다. 게시물 맥락에서는 forward 동안 노드를 생성하는 동적 그래프 방식으로 구현되어 GPU 없이도 모델 훈련을 가능하게 한다.
