reverse-mode-autograd
역전파 자동미분
Reverse-mode Autograd는 순전파 동안 연산을 기록하는 동적 테이프를 사용해 역전파 시점에 오차를 앞에서 뒤로 전파하며 그래디언트를 계산하는 기법이다. 동적 테이프는 런타임에 그래프 구조가 달라지는 모델에도 적용 가능하며 스칼라 출력 함수의 파라미터 수가 많을 때 효율적이다. 구현상에는 테이프의 메모리 관리와 연산 재연산 전략이 성능과 메모리 요구량을 결정한다.
중급
역전파 자동미분
Reverse-mode Autograd는 순전파 동안 연산을 기록하는 동적 테이프를 사용해 역전파 시점에 오차를 앞에서 뒤로 전파하며 그래디언트를 계산하는 기법이다. 동적 테이프는 런타임에 그래프 구조가 달라지는 모델에도 적용 가능하며 스칼라 출력 함수의 파라미터 수가 많을 때 효율적이다. 구현상에는 테이프의 메모리 관리와 연산 재연산 전략이 성능과 메모리 요구량을 결정한다.