pre-training

대규모 데이터를 사용해 모델의 기초 지식을 형성하는 단계이다. 중국 모델의 경우 검열된 중국 인터넷 데이터를 학습하여 기초 지식 단계부터 편향이 발생할 수 있으나, 이번 연구에서는 이보다 사후 개입의 영향이 더 큰 것으로 분석되었다.