추론을 쓰는 모델은 더 작게, 훨씬 오래 학습해야 한다

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

기존 Chinchilla scaling은 고정된 학습 연산량을 모델 크기와 training token 사이에 배분하지만, reasoning model은 추론 단계에서도 여러 답변을 생성하고 검증하는 추가 비용을 사용합니다. Train-to-Test, 즉 T² scaling laws는 모델 크기 N과 데이터량 D에 반복 샘플 수 k를 결합하고, 동일한 inference budget에서 작은 모델이 더 많은 샘플을 생성하는 효과까지 계산합니다. 그 결과 compute-optimal한 지점이 표준 기준보다 훨씬 많은 토큰으로 학습한 작은 모델 쪽으로 이동했으며, LFM2.5-350M의 매개변수당 약 80,000 tokens 사례도 이 예측 영역에 가까웠습니다. 과잉학습 체크포인트는 held-out 외삽과 real·synthetic benchmark 비교에서 Chinchilla-optimal 체크포인트보다 높은 성능을 냈고, fine-tuning 이후에도 같은 결론이 유지됐습니다.

빠른 이해

새로운 점

학습 비용만 최적화하던 scaling law에 반복 추론 비용을 결합해 작은 모델의 대규모 overtraining을 compute-optimal 전략으로 예측했습니다.

핵심 메커니즘

모델 크기 N, 학습 데이터량 D, 테스트 시점 반복 샘플 수 k를 하나의 비용 제약 안에서 함께 최적화합니다. 모델은 여러 completion을 병렬 생성하고 verifier로 정답 여부를 판별하며, 총 inference budget을 고정하기 위해 $C_{inf}=2Nk$ 와 $k=C_{inf}/(2N)$ 을 사용합니다. 그 결과 작은 모델은 큰 모델보다 더 많은 샘플을 생성할 수 있고, 손실 기반 모델과 Beta regression 기반 pass@k 모델 모두 최적 배분을 작은 모델과 많은 training token 쪽으로 이동시킵니다.

핵심 수치

Chinchilla 경험칙: 약 20 training tokens per parameter- 표준 pre-training scaling의 대표적인 tokens per parameter 기준
LFM2.5-350M 학습량: 350 million parameters, 28 trillion tokens- 본문 계산 기준 약 80,000 tokens per parameter
pass@k: 1−(1−p)^k- p는 단일 샘플의 정답 확률, k는 반복 샘플 수
추론 비용 근사: Cinf=2Nk- N은 모델 크기, k는 반복 샘플 수이며 동일 비용 비교에 사용
검증 결과: T² overtrained checkpoint가 Chinchilla-optimal checkpoint보다 일관되고 상당히 높은 성능- real 및 synthetic benchmark, 동일 inference budget 비교

섹션별 상세

학습 스케일링의 기준

고정된 학습 연산량으로 가장 좋은 언어 모델을 만들려면 모델 크기와 training data 사이의 배분을 정해야 하며, pre-training scaling laws가 이 선택을 위한 경험적 지도를 제공합니다. Chinchilla scaling은 작은 모델 여러 개를 서로 다른 매개변수 수와 데이터량으로 학습한 뒤 손실 함수를 추정하고, 더 큰 연산 예산에서 손실이 가장 낮은 조합을 외삽합니다. 이 기준에서 널리 쓰인 규칙은 매개변수 하나당 약 20개의 training token이며, 큰 모델을 짧게 학습할지 작은 모델을 오래 학습할지의 균형을 학습 비용만으로 결정합니다. 그러나 현대 reasoning model은 배포 때 여러 답변을 만들고 검증하므로, 학습 단계만 최적화한 기준이 전체 연산 비용을 제대로 반영하지 못할 가능성이 생깁니다.

추론 단계의 반복 샘플링

Test-time scaling은 모델이 한 번 생성한 답변에만 의존하지 않고 추론 연산을 추가해 reasoning 성능을 높이는 접근이며, 논문은 여러 방식 가운데 parallel sampling을 중심으로 삼습니다. 모델은 하나의 문제에 대해 독립적인 completion을 여러 개 생성하고, verifier가 각각을 검사한 뒤 정답으로 판단된 completion을 선택합니다. 단일 샘플의 정답 확률이 p이고 k개의 샘플을 생성하면 pass@k는

1-(1-p)^k

로 계산되며, 예를 들어 p가 0.5이고 k가 2이면 적어도 하나가 맞을 확률은 0.75가 됩니다. 따라서 작은 모델이 같은 추론 예산 안에서 더 많은 샘플을 생성할 수 있다면, 단일 응답 성능이 낮아도 반복 생성으로 큰 모델과의 격차를 줄일 여지가 생깁니다.

T² 스케일링 법칙의 구성

Train-to-Test, 즉 T² scaling laws는 모델 크기 N과 학습 데이터량 D뿐 아니라 테스트 시점 반복 샘플 수 k까지 함께 최적화하는 통합 규칙입니다. 기본 손실식은 모델 용량 항과 데이터 항에 반복 샘플 항을 추가한 형태로, 각 항이 N·D·k 변화에 따른 손실 변화를 나타냅니다. 모델별 추론 비용 차이를 제거하기 위해 총 inference budget을 고정하고

C_{inf}=2Nk

를 사용하며, 이때 샘플 수는

k=C_{inf}/(2N)

이므로 작은 모델에 더 많은 반복 추론을 배정할 수 있습니다. 연구진은 손실을 직접 매개변수화하는 방식과 문제별 성공 확률을 Beta regression으로 모델링해 pass@k를 계산하는 방식을 비교했으며, 두 방식 모두 최적점이 작은 모델과 많은 학습 토큰 쪽으로 이동한다는 같은 방향을 냈습니다.

과잉학습으로 이동한 최적점

추론 비용을 포함하면 표준 Chinchilla 기준의 최적 tokens per parameter가 크게 늘어나며, compute-optimal한 선택이 더 작은 모델을 훨씬 많은 토큰으로 학습하는 쪽으로 바뀝니다. 이 결론은 Liquid AI의 LFM2.5-350M 사례와도 맞물리는데, 해당 모델은 350 million parameters와 28 trillion tokens로 학습되어 매개변수당 약 80,000 tokens를 사용했습니다. 이는 Chinchilla의 약 20 tokens per parameter보다 훨씬 큰 값이지만, T² 예측에서는 inference-efficient reasoning system이 놓일 영역에 가깝습니다. 손실 기반 곡선과 정확도 기반 곡선의 수치는 완전히 같지 않았지만, 표준 사전 학습 배분보다 상당한 overtraining이 유리하다는 방향은 일치했습니다.

외삽과 벤치마크 검증

연구진은 scaling law가 학습에 사용된 체크포인트를 단순히 맞추는 데 그치지 않고 실제 과잉학습 영역을 예측하는지 확인하기 위해 heavily overtrained checkpoint를 제외한 상태에서 법칙을 적합했습니다. 제외된 체크포인트는 예측 추세 주변에 놓였고, 손실 기반 방식이 정확도 기반 방식보다 외삽을 다소 잘 수행했습니다. 같은 inference budget에서 T² 기준으로 선택한 overtrained checkpoint와 Chinchilla-optimal checkpoint를 real 및 synthetic benchmark에서 비교한 결과, 전자가 일관되고 상당한 성능 우위를 보였습니다. IsoFLOP 곡선도 테스트 시점 스케일링을 포함하면 아래쪽으로 이동하고 최적 frontier가 더 작고 더 오래 학습한 모델 쪽으로 휘어진다는 결과를 냈습니다.

Post-training 이후에도 유지된 결론

실제 배포 모델은 base model 상태에서 바로 reasoning을 수행하지 않고 supervised fine-tuning이나 reinforcement learning 같은 post-training을 거치므로, 연구진은 이 단계가 T² 결론을 바꾸는지 별도로 확인했습니다. 일반 fine-tuning과 prompt token을 loss 계산에서 마스킹한 supervised fine-tuning이라는 두 가지 방식으로 실험한 뒤에도 T²는 Chinchilla보다 상당한 overtraining을 권장했습니다. 동일한 inference budget에서 과잉학습 체크포인트가 Chinchilla-optimal 체크포인트보다 계속 높은 성능을 냈다는 결과도 유지됐습니다. 다만 post-training 방식과 test-time compute의 배분을 하나의 법칙으로 직접 최적화하지는 않았으며, 연구진은 reinforcement learning과 supervised fine-tuning까지 포함한 train-to-post-train-to-test scaling law를 후속 과제로 남겼습니다.

용어 해설

사전 학습 스케일링 법칙(Pre-training Scaling Laws): — 고정된 학습 연산량을 모델 크기와 학습 데이터량에 어떻게 배분할지 추정하는 경험적 규칙입니다. 여러 크기의 모델을 학습해 손실 변화를 맞추고, 더 큰 연산 예산에서 최적의 매개변수 수와 토큰 수 조합을 예측합니다.
테스트 시점 스케일링(Test-Time Scaling): — 모델을 학습한 뒤 추론 단계에서 여러 답변을 생성하고 검증해 성능을 높이는 방식입니다. 추가 추론 연산량을 사용해 단일 답변의 오류를 보완하며, 반복 샘플 수와 검증 절차가 핵심 변수가 됩니다.
Chinchilla 스케일링(Chinchilla Scaling): — 고정된 학습 연산량에서 모델 매개변수 수와 학습 토큰 수를 균형 있게 배분하는 기준입니다. 이 글에서는 매개변수 하나당 약 20개의 training token을 사용하는 경험칙으로 제시되며, 추론 비용은 직접 포함하지 않습니다.
병렬 샘플링(Parallel Sampling): — 하나의 문제에 대해 모델이 여러 completion을 독립적으로 생성한 뒤 verifier로 답을 검사하고 통과한 결과를 선택하는 추론 방식입니다. 샘플 수를 늘리면 정답을 한 번 이상 얻을 확률이 높아지지만 추론 연산량도 함께 증가합니다.
pass@k: — k개의 독립적인 답변 중 하나 이상이 정답일 확률을 나타내는 지표입니다. 단일 샘플 정답 확률이 p일 때 $1-(1-p)^k$ 로 계산하며, k가 커질수록 정답을 얻을 기회가 늘어나는 구조를 측정합니다.
Beta Regression: — 문제별 정답 확률이 서로 다르다는 점을 반영하기 위해 성공 확률의 분포를 Beta 분포로 모델링하는 통계 방법입니다. 문제 난이도의 이질성을 평균값 하나로 뭉개지 않고, 그 분포에서 기대 pass@k를 계산하는 데 사용됩니다.
IsoFLOP 플롯(IsoFLOP Plot): — 동일한 연산 예산에서 모델 크기와 데이터량의 여러 조합을 비교하는 그래프입니다. 각 예산 곡선의 최저점이 손실 기준의 최적 조합을 나타내며, 테스트 시점 스케일링을 넣으면 최저점이 더 작은 모델과 많은 학습 토큰 쪽으로 이동합니다.

기술

Train-to-Test (T²) scaling laws
Chinchilla scaling
parallel sampling
pass@k
Beta regression
supervised fine-tuning
reinforcement learning
IsoFLOP

언급된 리소스

문서원문 링크