정렬 세금
모델에 새로운 지식을 학습시킬 때 기존에 학습된 인간의 의도에 부합하는 정렬 성능이 저하되는 현상을 의미한다. 이 글에서는 LoRA 학습 시 채팅 능력이 감소하는 현상으로 나타났다.
RAG 없이 모델 가중치에 직접 지식을 주입하는 'Sleeping LLM'