본문으로 건너뛰기

model-scaling-law

모델 스케일링 법칙

중급

모델 파라미터 수에 따른 성능(손실)의 경험적 관계로 본문에서는 L(N)=10.1·N^-0.03 형태의 거듭제곱 법칙으로 테스트 손실을 추정하여 스케일에 따른 성능 변화를 정량화하는 데 사용되었다.