SRM-LoRA: 민감도 기반 리만 계량을 이용한 LoRA 업데이트로 LLM 환각 완화

커뮤니티 반응은 실무적 관심과 이론적 회의가 혼재되어 있다. 여러 사용자가 리포지토리와 실험 그림을 검토하면서 구현 재현성과 벤치마크별 수치 확인을 요청했고 일부는 민감도 기반 계량의 수치적 안정성 및 계산 비용에 대해 우려를 표했다. 동시에 수학적 정형성에 기반한 업데이트 제어라는 방향성에는 긍정적 반응이 있어 추가 검증과 공개 코드 기여를 기대하는 목소리가 다수 존재한다.

• 제안된 방법을 검증하려면 먼저 리포지토리의 구현을 사용해 소규모 모델과 HaluEval-QA에서 재현 실험을 수행하고, 계량 계산이 역전파 시간과 메모리에 미치는 영향을 계측해야 한다.
• 민감도 계산은 gradient(loss)/gradient(parameter) 형태로 정의되어 있으므로 수치적 안정성을 위해 클리핑이나 정규화 기법을 도입하고 하이퍼파라미터 탐색을 통해 계량의 민감도 임계값을 조정할 것을 권장한다.
• 계량을 학습 가능한 파라미터로 두는 실험과 고정된 민감도 기반 계량을 비교하는 대조실험을 설계하여 과적합 유발 가능성을 명확히 평가해야 한다.

LoRA

— LoRA는 전체 모델 가중치를 수정하지 않고 가중치 업데이트를 저순위 행렬로 근사하여 파인튜닝 비용과 메모리 사용을 줄이는 기법이다. 이 방법은 주로 rank로 제어되는 저차원 행렬 두 개만 학습하여 원본 파라미터를 고정한 채로 효율적 업데이트를 수행한다. 본문에서는 LoRA 파라미터 공간에서 역전파 그래디언트를 재형성하는 방식이 핵심 설계 배경으로 사용되었다.

Riemannian Metric

— 리만 계량은 파라미터 공간에서 각 방향의 거리와 비용을 정의하는 내적 형태로, 업데이트 방향별 민감도나 비용을 반영하여 그래디언트 스케일링에 사용된다. 본문에서는 파라미터 변화율에 기반한 민감도를 이용해 높은 비용 경로의 업데이트 크기를 억제하는 용도로 계량을 구성했다. 계량은 순전파·추론 비용에는 영향을 주지 않으면서 역전파에서의 업데이트 방향을 조정하는 역할을 한다.

Sensitivity-Based Metric

— 민감도 기반 계량은 손실에 대한 파라미터 변화율 즉 gradient(loss)/gradient(parameter)를 계량의 비용으로 사용하여 어떤 업데이트가 더 '비싼'지 판단하는 메커니즘이다. 이 계량은 역전파에서 고비용 방향의 업데이트를 억제하여 과적합과 그로 인한 환각(hallucination)을 줄이는 목적을 가진다. 본문에서는 이 계량을 LoRA 파라미터 공간에 적용하여 SRM-LoRA를 정의했다.

HaluEval-QA

— HaluEval-QA는 모델의 사실성(factual reliability)과 환각 발생을 평가하기 위해 구성된 질의응답형 벤치마크 데이터셋으로 본문에서는 SRM-LoRA의 학습에 사용되었다. 이 데이터에만 학습시키고도 관련 및 분포 외(out-of-distribution) 벤치마크에서 개선을 보고한 점이 핵심 실험 근거로 제시되었다. 데이터셋은 사실성 평가 지표와 함께 모델의 일반화 능력을 검증하는 용도로 활용되었다.