param-groups
PyTorch 옵티마이저에서 서로 다른 하이퍼파라미터(학습률, 가중치 감쇠 등)를 적용할 수 있도록 모델의 매개변수들을 논리적으로 묶은 단위이다. 이를 통해 레이어별로 차별화된 학습 전략을 구사할 수 있다.
LR만 조절하는 시대는 끝났다, PyTorch를 위한 범용 스케줄링 라이브러리