Forward and Backward Pass

Forward Pass는 입력을 모델에 통과시켜 출력을 계산하는 단계이고, Backward Pass는 손실에서 출발해 각 파라미터의 그래디언트를 계산하는 단계입니다. 실험에서는 두 단계가 배치 구성에 따른 시간 차이의 주요 원인으로 관찰됐습니다.