수치 그래디언트 검사
수치 그래디언트 검사는 파라미터를 작은 차분만큼 변화시켜 손실 변화로부터 근사 그래디언트를 계산하고, 분석적 백프로파게이션 결과와 비교해 구현의 정확성을 검증하는 방법이다. 통상적으로 차분 간격을 조절해 기계 정밀도 수준까지 일치하는지를 확인하며, 구현 오류나 수치적 불안정을 발견하는 데 사용된다. 글에서는 이 방법으로 analytic backprop와 약 2e-10 수준까지 일치함을 보고해 구현 신뢰도를 확보했다.
