pre-training-scaling-laws
사전 학습 스케일링 법칙
고정된 학습 연산량을 모델 크기와 학습 데이터량에 어떻게 배분할지 추정하는 경험적 규칙입니다. 여러 크기의 모델을 학습해 손실 변화를 맞추고, 더 큰 연산 예산에서 최적의 매개변수 수와 토큰 수 조합을 예측합니다.
사전 학습 스케일링 법칙
고정된 학습 연산량을 모델 크기와 학습 데이터량에 어떻게 배분할지 추정하는 경험적 규칙입니다. 여러 크기의 모델을 학습해 손실 변화를 맞추고, 더 큰 연산 예산에서 최적의 매개변수 수와 토큰 수 조합을 예측합니다.
