domain-mixture

사전 학습 시 뉴스, 코드, 논문 등 서로 다른 출처의 데이터 비율을 결정하는 기법이다. 모델이 특정 분야에 편향되지 않고 균형 잡힌 지식을 습득하도록 최적의 데이터 조합 비율을 동적으로 조정하는 것이 핵심이다.