순차적 LoRA 파인튜닝 시 발생하는 치명적 망각 현상과 완화 방법

핵심 요약

순차적 LoRA 파인튜닝 중 발생하는 치명적 망각 현상을 해결하기 위해 제약된 잔차 어댑터 설계(CRMA)를 도입하여 성능 저하를 0.16% 수준으로 억제한 실험 결과이다.

배경

Mistral-7B 모델을 의료, 법률, 금융 등 여러 도메인에 순차적으로 파인튜닝할 때 이전 도메인의 성능이 급격히 하락하는 치명적 망각 현상이 발생했다. 이를 해결하기 위해 그래디언트 업데이트를 제한하는 CRMA 방식을 실험하여 안정성을 확보했다.

의미 / 영향

이 토론에서 순차적 파인튜닝의 성능 한계가 모델 구조적 보완을 통해 극복 가능하다는 점이 확인됐다. 특히 CRMA와 같은 그래디언트 제어 기법이 지속 학습 환경에서 실질적인 대안이 될 수 있음을 시사한다.

커뮤니티 반응

작성자가 지속 학습(Continual Learning)에 대한 다른 사용자들의 경험(EWC, 메모리 리플레이 등)을 묻고 있으며, 기술적 접근 방식에 대해 흥미를 보이는 반응이 나타났다.

실용적 조언

다중 도메인 순차 학습 시 표준 LoRA 대신 그래디언트 업데이트를 제한하는 어댑터 설계를 고려해야 한다.
7B 이상의 대규모 모델을 다룰 때는 지속 학습 안정성 지표를 반드시 모니터링해야 한다.

언급된 도구

ModelBrew중립

멀티 도메인 파인튜닝 테스트를 위한 내부 실험용 API

섹션별 상세

순차적 파인튜닝의 한계와 치명적 망각 현상이 확인됐다. Mistral-7B 모델을 의료에서 법률, 금융 순으로 여러 도메인에 걸쳐 순차적으로 LoRA 파인튜닝을 진행할 때 이전 학습 데이터에 대한 성능이 무너지는 현상이 관찰됐다. 표준 LoRA 방식을 사용한 5개 도메인 순차 학습 실험에서 약 43%의 성능 드리프트(Drift)가 발생하여 실무 적용에 어려움이 있었다.

CRMA(Constrained Residual Adapter)를 통한 성능 안정화 가능성을 제시했다. 태스크 간 그래디언트 업데이트를 제한하는 제약된 잔차 어댑터 설계(CRMA)를 도입하여 성능 저하 문제를 해결했다. 이 방식을 Mistral-7B에 적용한 결과, 기존 43%에 달하던 드리프트가 -0.16% 수준으로 급감했으며 그래디언트 업데이트량은 98.9% 감소했다.

모델 규모에 따른 안정성 격차가 발생함을 확인했다. 실험 결과 모델의 파라미터 규모가 커질수록 지속 학습(Continual Learning)에서의 안정성 차이가 더 뚜렷하게 나타났다. 1B 규모의 모델에서는 큰 차이가 없었으나, 7B 이상의 모델부터는 표준 LoRA와 CRMA 방식 간의 성능 분리가 명확하게 확인됐다.

실무 Takeaway

표준 LoRA를 이용한 순차적 파인튜닝은 도메인이 늘어날수록 이전 지식을 잃는 치명적 망각 현상이 심각하다.
CRMA 방식은 그래디언트 업데이트를 98.9% 제한함으로써 성능 저하(Drift)를 0.16%까지 낮추는 데 성공했다.
지속 학습의 안정성 문제는 모델 규모가 7B 이상으로 커질 때 더욱 중요하게 다뤄져야 한다.