컨텍스트-공간 증류
교사 모델이 오프라인으로 생성한 고품질의 절차적 메모리를 저장해 학생 모델의 입력 앞부분에 전치하는 방법으로, 학생 파라미터를 변경하지 않고 문맥 자체를 고급 지식으로 채운다. 검색은 저장된 메모리의 임베딩과 작업 설명의 코사인 유사도로 상위 k개를 선택하는 방식으로 이루어진다. 실험에서는 teacher-generated memories를 미리 생성해 수 MB 단위로 저장하고 k=10 등을 사용해 성능을 향상시켰다.
