IsoFLOP 프로파일
고정된 총 FLOPs 예산에서 모델 크기(log N)에 대해 훈련 손실을 플롯한 곡선으로, 포물선 근사를 통해 해당 예산에서 최적 모델 크기 N_opt를 식별한다. N_opt로부터 대수적 관계로 최적 토큰 수 D_opt를 계산할 수 있어 계산-최적 할당 지표를 제공한다. 논문에서는 IsoFLOP 결과를 training-curve envelope와 교차검증용으로 병행 사용했다.
