데이터 증류
GPT-4와 같은 거대 모델(Teacher)이 생성한 고품질 데이터를 작은 모델(Student)의 학습 데이터로 사용하는 기법이다. 특정 작업에 최적화된 소형 모델을 만들어 연산 자원을 절약하면서도 높은 성능을 유지하는 데 사용된다.