ZeroUnlearn: Large Language Models에서 소-shot 지식 언러닝을 위한 Null-Space 제약 기반 프레임워크

대형 언어 모델은 방대한 웹 코퍼스로부터 민감한 정보를 흡수해 안전성과 프라이버시 문제를 야기한다. 기존 언학(larging-scale unlearning) 방법은 재훈련이나 과도한 파인튜닝에 의존해 비용이 크고, 관련 지식까지 파괴할 위험이 있다. ZeroUnlearn은 민감 지식을 특정 입력에 대해 안전한 상태로 재매핑하고 원래 표현을 직교적으로 제거하는 프레임워크로, few-shot 설정에서 빠르고 정밀한 unlearning을 가능하게 한다.

출발점: LLM은 대규모 데이터를 통해 특정 사실과 관계를 저장한다. forget-set의 지식을 제거하려면, 해당 지식의 표현을 원래 상태와 연관 없이 제거해야 하며, 단순한 가중치 감소만으로는 충분하지 않다. 기존 데이터 재학습은 비용이 많이 들고 관련 지식의 보존에 실패하기 쉽다.

해법은 두 축에서 작동한다. 첫째, W를 왼쪽에서 곱하는 D를 right null-space(Mf^T) 안에 위치시켜: Mf^T D = 0. 따라서 Mf에 의해 정의된 기억은 영향력을 잃고 다른 표현은 보존된다. 둘째, 목적 함수는 (i) Zero Term으로 Mf와의 내적을 0에 가깝게 만들어 원래 Mf를 직교화, (ii) Forget Term으로 Kf를 Mn으로 재매핑, (iii) Utility Term으로 M0와의 매핑을 유지한다. 이로써 잃은 지식은 Mn으로 대체되면서도 일반 지식은 유지된다.

한 샘플 설정에서의 실험은 ZeroUnlearn이 GA/FT/R0ME/MEMIT/AlphaEdit 대비 Forgetting 효과를 크게 개선하면서도 PPL과 Neighborhood Knowledge를 유지한다. 다중 샘플에서 ZeroUnlearn-GD는 큰 배치에서도 0% Eff.를 달성하는 예를 보였으며, 다운스트림 태스크에서도 base 모델과 유의미한 차이가 없었다.

아키텍처: 입력 키(K0, Kf)와 출력 값(M0, Mf)으로 구성된 FFN의 매핑을 재편하려고 한다. Phase 1에서 K0, Kf를 구성하고 Phase 2에서 A = MnKf^⊤ + M0K0^⊤, B = KfKf^⊤ + K0K0^⊤를 산출한다. SVD를 통해 Mf^⊤ = UΣV^⊤ 이고, P = I − VV^⊤ 이다. D˜* = P(A + W)W^⊤(W(B + I)W^⊤)^{-1} 이 최적해이다. 다중 샘플의 경우 D˜m에 대해 vec(D˜m) = (H^⊤ ⊗ Q + C^⊤ ⊗ I)^{-1} vec(Z) 로 표현되는 Sylvester형태를 활용하지만, 실용적으로는 Gradient Descent로 근사한다. 복잡도는 d 차원에서 O(d^2) per iteration이며, 메모리 이슈를 피하기 위해 Kronecker 기반의 대칭 행렬은 구성하지 않는다.