Chinchilla 스케일링 법칙
모델 크기와 토큰 수의 조합에서 검증 손실을 최적으로 만드는 데이터-파라미터 할당 규칙을 기술한 경험적 법칙이다. 본문에서는 이 법칙으로부터 예측한 프리트레이닝 손실을 입력으로 삼아 RL 이후 성능을 추정하는 합성 스케일링 모델을 구성했다. 이 규칙은 전단계(pretraining) 손실을 정량적으로 연결하는 근거로 사용됐다.
