training-from-scratch
기존에 학습된 모델을 수정하는 파인튜닝과 달리, 무작위로 초기화된 가중치에서 시작하여 전체 모델을 처음부터 학습시키는 과정이다. 막대한 데이터와 계산 자원이 필요하며 모델의 기초적인 언어 이해 능력을 형성하는 단계이다.
기존에 학습된 모델을 수정하는 파인튜닝과 달리, 무작위로 초기화된 가중치에서 시작하여 전체 모델을 처음부터 학습시키는 과정이다. 막대한 데이터와 계산 자원이 필요하며 모델의 기초적인 언어 이해 능력을 형성하는 단계이다.