Power-Law Scaling
멱법칙 스케일링
모델 규모와 손실 사이의 관계를 멱법칙으로 근사해 파라미터 증가에 따른 성능 변화를 나타내는 방식이다. TinyStories 실험에서는 TUPOI 체크포인트 세 개의 검증 손실과 α = 0.113인 적합선으로 규모 확장 경향을 확인했다.
멱법칙 스케일링
모델 규모와 손실 사이의 관계를 멱법칙으로 근사해 파라미터 증가에 따른 성능 변화를 나타내는 방식이다. TinyStories 실험에서는 TUPOI 체크포인트 세 개의 검증 손실과 α = 0.113인 적합선으로 규모 확장 경향을 확인했다.
