knowledge-distillation
거대 모델(Teacher)이 학습한 지식을 작은 모델(Student)에게 전달하여, 작은 모델이 거대 모델의 성능을 모방하도록 만드는 기법이다. 이를 통해 연산 자원이 제한된 환경에서도 고성능 AI를 사용할 수 있게 한다.
거대 모델(Teacher)이 학습한 지식을 작은 모델(Student)에게 전달하여, 작은 모델이 거대 모델의 성능을 모방하도록 만드는 기법이다. 이를 통해 연산 자원이 제한된 환경에서도 고성능 AI를 사용할 수 있게 한다.