스크래치 학습
사전 학습된 모델을 사용하지 않고 데이터셋만으로 처음부터 가중치를 학습시키는 과정이다. 기존 모델의 편향에서 자유롭고 특정 목적에 완전히 부합하는 아키텍처를 설계할 수 있다는 장점이 있다. 다만 학습에 필요한 연산 자원과 양질의 데이터 확보가 필수적이다.
단 8M 파라미터로 구현한 초경량 언어 모델의 한계 도전