지속적 사전 학습
이미 학습된 베이스 모델에 특정 도메인의 데이터를 추가로 학습시켜 해당 분야의 지식을 보강하는 기법이다. 모델이 기존에 가진 언어 능력을 유지하면서 새로운 전문 지식을 습득하게 하는 데 핵심적인 역할을 한다.
RTX 3090 한 장으로 탄생한 정교회 특화 LLM: Paterikon-3B