Compute-optimal Training
연산 최적 학습
주어진 학습 연산량 안에서 모델 크기와 학습 데이터의 배분을 최적화하는 접근이다. Hoffmann et al.의 분석은 파라미터보다 데이터 토큰을 더 충분히 확보하는 배분이 유리할 수 있음을 보였다.
연산 최적 학습
주어진 학습 연산량 안에서 모델 크기와 학습 데이터의 배분을 최적화하는 접근이다. Hoffmann et al.의 분석은 파라미터보다 데이터 토큰을 더 충분히 확보하는 배분이 유리할 수 있음을 보였다.
