compute-optimal-scaling
계산 최적 스케일링
주어진 FLOPs 예산 안에서 손실을 최소화하기 위해 모델 파라미터 수와 학습 토큰 수를 어떻게 분배할지 결정하는 규칙이다. 이 논문 맥락에서는 N∝C^a, D∝C^b의 거동을 확인하여 파라미터와 데이터의 최적 비중을 도출한다. 실무적으로는 동일한 계산 비용으로 더 낮은 훈련 손실을 얻기 위한 설계 지침을 제공한다.
계산 최적 스케일링
주어진 FLOPs 예산 안에서 손실을 최소화하기 위해 모델 파라미터 수와 학습 토큰 수를 어떻게 분배할지 결정하는 규칙이다. 이 논문 맥락에서는 N∝C^a, D∝C^b의 거동을 확인하여 파라미터와 데이터의 최적 비중을 도출한다. 실무적으로는 동일한 계산 비용으로 더 낮은 훈련 손실을 얻기 위한 설계 지침을 제공한다.
