sensitivity-metric

민감도 기반 계량은 손실에 대한 파라미터 변화율 즉 gradient(loss)/gradient(parameter)를 계량의 비용으로 사용하여 어떤 업데이트가 더 '비싼'지 판단하는 메커니즘이다. 이 계량은 역전파에서 고비용 방향의 업데이트를 억제하여 과적합과 그로 인한 환각(hallucination)을 줄이는 목적을 가진다. 본문에서는 이 계량을 LoRA 파라미터 공간에 적용하여 SRM-LoRA를 정의했다.