pre-fine-tuning

PFT는 인코더 형태로의 전환을 돕기 위해 다수의 노이즈 입력-타깃 쌍을 멀티태스크로 학습하는 초기 단계이며, FT는 텍스트/코드/문서/이미지/오디오/비디오 태스크를 포함한 대규모 데이터로 미세조정하는 단계이다.