overparameterization
모델의 파라미터 수가 학습 데이터의 수보다 훨씬 많은 상태를 의미한다. 전통적으로는 과적합의 원인으로 여겨졌으나, 현대 딥러닝에서는 오히려 성능 향상의 핵심 요소로 작용한다.
LLM의 '창발적 이해'는 환상일까? 통계적 모방과 일반화의 경계
LLM은 지능인가, 아니면 고도로 정교한 통계적 흉내인가?
과적합의 역설: 릿지리스 보간법의 통계적 거동을 밝히다