Sqrt Batch Scaling Rule
제곱근 배치 스케일링 규칙
배치 크기를 변경할 때 학습률(Learning Rate)을 배치 크기 변화량의 제곱근에 비례하여 조정해야 한다는 이론적 규칙이다. 이를 무시하고 배치 크기만 줄일 경우 학습이 불안정해지거나 발산할 위험이 크기 때문에 정밀한 최적화에 필수적이다.
제곱근 배치 스케일링 규칙
배치 크기를 변경할 때 학습률(Learning Rate)을 배치 크기 변화량의 제곱근에 비례하여 조정해야 한다는 이론적 규칙이다. 이를 무시하고 배치 크기만 줄일 경우 학습이 불안정해지거나 발산할 위험이 크기 때문에 정밀한 최적화에 필수적이다.
