scaling-laws

모델의 크기, 데이터 양, 컴퓨팅 자원이 증가함에 따라 모델의 성능이 예측 가능한 방식으로 향상된다는 법칙이다. 최근에는 학습뿐만 아니라 추론 단계에서의 스케일링 법칙에 대한 연구가 활발히 진행되고 있다.