Mistral-7B 순차 학습 시 파괴적 망각을 -0.16% 드리프트로 억제한 지속 학습 어댑터 기술

커뮤니티 반응

작성자의 구체적인 수치 제시에 대해 긍정적인 반응이며, 특히 대규모 모델에서의 안정성 확보 결과에 높은 관심을 보였다.

주요 논점

01찬성다수

표준 LoRA는 순차 학습 시 이전 지식을 보존하지 못하므로 CRMA와 같은 그래디언트 제약 방식이 필수적이다.

실용적 조언

여러 도메인 데이터를 순차적으로 학습시켜야 하는 시나리오라면 단순 LoRA 대신 그래디언트 업데이트 범위를 제한하는 어댑터 구조를 검토해야 한다.
모델 규모가 커질수록 파괴적 망각의 영향이 커지므로 7B급 이상의 모델을 다룰 때는 반드시 지속 학습 지표를 모니터링해야 한다.

섹션별 상세

표준 LoRA를 사용하여 5개 도메인을 순차적으로 학습했을 때 약 +43%의 성능 드리프트가 발생했다. 이는 새로운 도메인을 학습할 때마다 이전 도메인에서 습득한 지식이 심각하게 훼손되어 실무 적용이 어려움을 시사한다.

제안된 CRMA(Constrained Residual Adapter Design) 방식은 태스크 간 그래디언트 업데이트를 제한하여 드리프트를 -0.16% 수준으로 억제하는 데 성공했다. 이 과정에서 그래디언트 업데이트량이 약 98.9% 감소했음에도 불구하고 각 도메인에 대한 학습 안정성은 비약적으로 향상됐다.

모델의 규모가 커질수록 지속 학습 전략에 따른 성능 격차가 더 뚜렷하게 나타났다. 1B 파라미터 모델에서는 기법 간 차이가 미미했으나, 7B 이상의 모델에서는 CRMA와 일반 LoRA 간의 안정성 차이가 명확하게 벌어지는 현상이 확인됐다.

작성자는 이러한 다중 도메인 파인튜닝 테스트를 용이하게 하기 위해 'ModelBrew'라는 내부 실험용 API를 구축했다. 커뮤니티에는 EWC(Elastic Weight Consolidation), 메모리 리플레이(Memory Replay), 모듈형 어댑터 등 다른 지속 학습 기법과의 비교 데이터 공유를 요청했다.

용어 해설

파괴적 망각(Catastrophic Forgetting): — 신경망이 새로운 정보를 학습할 때 이전에 학습했던 정보를 급격히 잊어버리는 현상이다. 순차적인 데이터 학습 시 가중치가 새로운 태스크에만 최적화되면서 기존 지식이 파괴되는 문제로, 지속 학습의 주요 장애물이다.
지속 학습(Continual Learning): — 모델이 새로운 데이터를 지속적으로 학습하면서도 이전에 습득한 지식을 유지하도록 하는 기법이다. 데이터가 시간에 따라 순차적으로 제공되는 실제 환경에서 모델을 효율적으로 업데이트하기 위해 필수적인 연구 분야이다.
그래디언트 드리프트(Gradient Drift): — 학습 과정에서 가중치 업데이트 방향이 원래의 최적 지점에서 벗어나 성능이 저하되는 현상을 의미한다. 이 글에서는 순차 학습 시 이전 도메인에서의 성능이 얼마나 하락했는지를 나타내는 지표로 사용됐다.
탄성 가중치 통합(Elastic Weight Consolidation): — 이전 태스크에서 중요했던 가중치가 크게 변하지 않도록 정규화 항을 추가하는 지속 학습 기법이다. 뇌의 시냅스 가소성에서 영감을 얻었으며, 파괴적 망각을 억제하는 대표적인 알고리즘 중 하나이다.

언급된 도구

Mistral-7B추천

실험에 사용된 기본 대규모 언어 모델

ModelBrew중립

다중 도메인 파인튜닝 테스트를 위한 내부 실험용 API