Fast-Slow Training
LLM의 학습에서 parameter를 slow weights와 fast weights로 구분해 두고, slow weights는 기반 모델의 일반화 능력을 보존하고, fast weights는 task-specific 정보를 빠르게 흡수하도록 하는 학습 프레임워크.