본문으로 건너뛰기
r/MachineLearning

MC(다지선다) 정확도 비교: RMU/CRISP/SNMF의 언러닝·리러닝과 EMBER 보조 (Gemma vs Llama)

두 개 LLM(gemma-2-2b-it, Llama-3.1-8B-Instruct)에 대해 RMU·CRISP·SNMF 언러닝·리러닝 성능을 비교했으며, EMBER 보조가 대체로 리러닝 복구율을 낮추는 경향이 관찰됐다.

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

두 개의 LLM(google/gemma-2-2b-it, meta-llama/Llama-3.1-8B-Instruct)에 대해 RMU·CRISP·SNMF 세 기법의 언러닝(Unlearn)과 리러닝(Relearn) 성능을 다지선다(MC) 정확도로 비교했다. 각 기법은 언러닝으로 정확도가 떨어진 뒤 리러닝으로 일부 회복을 보였으나, 어느 경우도 Baseline(각 모델 0.73, 0.84)을 완전히 복원하지는 못했다. 그래프에 표기된 수치에 따르면 EMBER 보조를 적용한 경우 대부분 Relearn 정확도가 낮아지는 경향이 관찰됐다(예: gemma RMU Relearn 0.56 → RMU+EMBER 0.47, Llama CRISP 0.76 → CRISP+EMBER 0.52). 이 결과는 EMBER가 본 실험 설정에서는 리러닝 회복을 저해했을 가능성을 시사하며, 적용 전 소규모 재현 검증이 필요함을 의미한다. 모델별 반응이 달라 한 모델에서 유효했던 언러닝/리러닝 절차를 다른 모델로 일반화할 수 없고, 실무에서는 Baseline 대비 회복 한계와 95% CI 같은 불확실성을 고려해 트레이드오프를 설계해야 한다.

커뮤니티 반응

원문이 제거되어 댓글·토론 반응을 확인할 수 없음.

주요 논점

01중립다수

리러닝은 언러닝 이후 정확도를 어느 정도 회복시키나 Baseline 수준까지 완전 복구하지는 못한다는 점에서, 리러닝은 완전한 복구 수단보다 회복성 측정 도구로 해석해야 한다.

02반대다수

EMBER 보조는 기대와 달리 본 실험에서 Relearn 성능을 낮췄으므로 무작정 적용하면 회복성을 해칠 수 있다는 주장이 제기될 수 있다.

03중립다수

기법별·모델별 편차가 커서 동일한 프로토콜로 모든 모델에 적용하면 예측 불가능한 결과가 발생할 수 있다는 점에서, 각 모델에 맞춘 검증이 필요하다.

합의점 vs 논쟁점

합의점

  • 리러닝은 언러닝보다 높은 정확도를 회복하는 경향이 있다.
  • Baseline 성능에 완전 복구된 사례는 드물다.
  • 모델과 기법에 따라 회복성과 언러닝 강도가 크게 달라진다.

논쟁점

  • EMBER 보조의 도입이 전반적 개선을 보장하지 않는다는 점 — 실험에서는 대부분 성능이 하락했다.
  • 어떤 기법이 '최적'인지에 대한 일반화 가능성 — 모델별 차이 때문에 합의가 어렵다.

실용적 조언

  • 언러닝/리러닝 실험을 설계할 때 Baseline과 각 단계의 95% CI를 함께 보고 회복 안정성을 평가하라.
  • EMBER 같은 보조기법은 전체 Relearn 성능에 미치는 영향을 소규모 A/B로 먼저 확인한 뒤 확장 적용하라.
  • 한 모델에서 얻은 언러닝·리러닝 결과를 다른 모델에 적용하기 전에 동일한 프로토콜로 재현 실험을 수행하라.

섹션별 상세

다지선다(MC) 성능 비교 실험은 두 모델(google/gemma-2-2b-it, meta-llama/Llama-3.1-8B-Instruct)에서 Baseline, 언러닝(Unlearn), 리러닝(Relearn) 상태를 RMU·CRISP·SNMF 세 기법으로 측정하는 방식으로 진행됐다. 입력 데이터에 대해 언러닝은 특정 지식 신호를 약화하고 리러닝은 동일 또는 보정된 신호를 다시 주입하여 정확도 회복을 평가하는 처리 파이프라인으로 구성됐다. 그림 라벨의 수치가 실험 근거로 제시돼 각 기법별 Unlearn→Relearn의 변화량을 직접 비교할 수 있다. 전반적으로 리러닝이 언러닝보다 높은 정확도를 회복하나 어느 경우도 Baseline(각 모델 0.73 / 0.84)을 완전히 복원하지는 못했다.
두 개 패널의 막대그래프(상: google/gemma-2-2b-it, 하: meta-llama/Llama-3.1-8B-Instruct)로 Baseline·Unlearn·Relearn·with EMBER의 MC 정확도를 비교한 그림.
Chart이미지에는 각 기법(RMU, RMU+EMBER, CRISP, CRISP+EMBER, SNMF, SNMF+EMBER)에 대해 Unlearn(진한 파란)과 Relearn(주황) 및 EMBER 적용 케이스(무늬막대)가 수치 레이블과 함께 표시돼 있어 방법별·모델별 회복률을 직접 비교할 수 있다. 수치 예시로 gemma의 Baseline 0.73, RMU Relearn 0.56→RMU+EMBER 0.47, Llama의 Baseline 0.84, CRISP Relearn 0.76→CRISP+EMBER 0.52 등 구체 값이 도식화돼 있어 실험 근거로 사용 가능하다.
위와 동일한 막대그래프의 다른 해상도 버전으로, 동일한 실험 결과를 반복 표시한다.
Chart두 이미지가 동일한 실험 도표를 다른 해상도로 제공하므로 그래프의 수치·오차막대(95% CI)를 교차확인하기 용이하다. 이를 통해 각 기법과 EMBER 적용 전후의 정확도 차이를 시각적·수치적으로 근거화할 수 있다.
EMBER 보조의 영향은 그림에서 일관된 개선이 아니라 대체로 Relearn 성능 저하로 나타났다; 예컨대 gemma에서 RMU Relearn은 0.56이었으나 RMU+EMBER는 0.47로 낮아졌고 CRISP Relearn 0.55 → +EMBER 0.42, SNMF Relearn 0.51 → +EMBER 0.44로 줄어들었다. Llama 쪽에서도 RMU 0.70 → 0.47, CRISP 0.76 → 0.52, SNMF 0.54 → 0.35로 모두 Relearn 성능이 하락했다. 이러한 수치 근거는 EMBER가 본 실험 설정에서는 리러닝 복구를 방해하거나 다른 트레이드오프(예: 강한 잔여 제거)를 초래했을 가능성을 시사한다. 따라서 EMBER를 도입할 때는 소규모 재현 실험으로 Relearn 회복률 변화를 확인해야 한다.
모델별 민감도 차이가 뚜렷하게 관찰된다: Baseline이 높은 Llama(0.84)는 CRISP 적용 시 Relearn에서 최대 0.76까지 회복했지만 같은 CRISP 설정의 gemma는 Relearn 0.55에 그쳤다. 언러닝 단계의 정확도 하락 폭도 기법·모델별로 달라 RMU Unlearn은 gemma 0.43, Llama 0.23으로 차이가 크다. 이 결과는 동일한 언러닝·리러닝 절차라도 모델 아키텍처·사전학습 특성에 따라 내부 표현의 제거·복구 용이성이 달라진다는 것을 의미한다. 따라서 한 모델에서 얻은 언러닝/리러닝 결론을 다른 모델에 곧바로 일반화하기 어렵다.
실무적 함의는 명확한 트레이드오프 관리가 필요하다는 점이다: 언러닝 목표(완전 제거 vs 부분 제거)와 리러닝 복구 목표를 사전에 정의하고, 각 기법의 회복률·불확실성(그래프의 95% CI 표기)을 고려해 파라미터·데이터 샘플링 정책을 조정해야 한다. 그림에서 어느 기법도 Baseline을 완전 복구하지 못했으므로 민감한 환경에서는 언러닝 이후 리러닝으로 원복하려는 가정 자체를 재검토할 필요가 있다. 또한 EMBER 같은 보조기법은 기대와 다른 효과를 낼 수 있어 적용 전 A/B 테스트가 권장된다.

용어 해설

언러닝(Unlearning)
— 모델이 특정 지식이나 패턴의 영향을 약화시키도록 파라미터·데이터·로스(term) 조정을 통해 학습된 정보를 제거하는 기법으로, 입력-처리-출력 관점에서 해당 지식을 유발하는 입력에 대한 내부 표현을 줄여 관련 예측 확률을 낮춘다. 보안·프라이버시·버그 수정 목적으로 활용되며 제거 효과와 잔여 영향(artifact)을 수치로 검증해야 한다.
리러닝(Relearning)
— 언러닝으로 약화된 지식을 다시 주입하거나 원래 성능으로 회복시키는 과정으로, 동일 데이터·보정된 샘플 또는 파라미터 초기화 후 재학습을 통해 입력→모델 내부 표현→출력의 정확도를 회복하는 방법이다. 재현성(얼마나 빠르게·얼마나 완전하게 회복되는지)을 평가하는 것이 핵심이다.
EMBER
— 그림에 표기된 보조 기법명으로, 언러닝/리러닝 과정에서 추가적인 처리(예: 보정 신호 또는 샘플링 변경)를 더해 성능·안정성 변화를 관찰하는 보조 메커니즘이다. 원문 맥락에서는 EMBER 적용 전·후의 MC(다지선다) 정확도 변화를 비교하는 목적이다.
RMU
— 실험에서 비교한 특정 언러닝/리러닝 방법 이름으로, 입력 데이터나 파라미터 조작을 통해 지식 제거·복구를 유도한다는 점에서 다른 방법들과 역할이 유사하다. 정확한 내부 알고리즘은 그림만으로 불명확하나, 성능 평가는 MC 정확도로 이뤄졌다.
CRISP
— 또 다른 비교 대상 기법명으로, RMU·SNMF 등과 함께 언러닝 및 리러닝 성능을 MC 정확도로 비교하는 실험군이다. 그림에서는 CRISP가 특정 모델에서 리러닝 회복이 상대적으로 큰 편으로 나타난다.
SNMF
— 비교 대상 중 하나인 메소드 이름으로, 언러닝과 리러닝을 수행한 뒤 정확도를 측정하여 다른 방법과 회복성·안정성을 비교하는 용도로 사용됐다. 그림에서 RMU/CRISP와 함께 성능군을 형성한다.

언급된 도구

RMU중립

언러닝·리러닝 비교군으로서 MC 정확도 변화 평가에 사용된 기법

CRISP중립

언러닝·리러닝 비교군으로서 MC 정확도 변화 평가에 사용된 기법

SNMF중립

언러닝·리러닝 비교군으로서 MC 정확도 변화 평가에 사용된 기법

EMBER중립

언러닝/리러닝 과정에 보조적으로 적용되어 성능 변화(보정 신호/절차)를 관찰하기 위한 메커니즘

AI 분석 전체 내용 보기

AI 요약 · 북마크 · 개인 피드 설정 — 무료

출처 · 인용 안내

원문 발행 2026. 06. 25.수집 2026. 06. 25.출처 타입 REDDIT

인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.