Chinchilla 재검토로 불붙은 'scaling laws' 논쟁

📈 스케일링 법칙(Scaling Laws) 해석을 둘러싼 재검토와 논쟁포스트 2

X에서 Chinchilla 논문에 대한 수학적 재검토가 공유되며 스케일링 법칙의 로그-로그 적합과 외삽 해석이 도마에 올랐다. 재검토자들은 논문 수식의 세부 계산을 직접 검토해 외삽 기반 결론의 취약점을 지적했고, 반면 일부는 현재 방식의 규모 확장이 성능 향상을 지속한다고 봤다. 논쟁 포인트는 로그-로그 플롯을 어떻게 해석할지, 외삽이 실제로 통용되는지, 그리고 규모 확장이 포착하지 못하는 '무엇'의 존재 여부다.

• Susan Zhang의 인용에서 Stephen Roller의 설득으로 Chinchilla 수식을 직접 검토한 사례가 언급되었다. 이 작업은 논문 수식의 세부 수학적 계산을 풀어본 행위다.
• 비평 측은 로그-로그 적합을 데이터 외삽에 그대로 적용하면 잘못된 결론에 이를 위험이 있다고 지적했다.
• Ilya Sutskever 인용에서는 규모 확장이 성능 개선을 이어가지만 여전히 중요한 요소가 빠져 있을 수 있다는 견해가 제시되었다.