LLM의 파괴적 망각 해결을 위한 이중 메모리 아키텍처 연구

실용적 조언

연속적인 도메인 확장이 필요한 LLM 프로젝트에서는 단순 파인튜닝 대신 리플레이 버퍼나 가중치 보호 기법 검토 권장
긴 문맥 회상이 중요한 서비스의 경우 단순 컨텍스트 확장보다 메모리 구조 개선이 더 효과적일 수 있음

섹션별 상세

작성자는 LLM의 순차적 학습 시 발생하는 파괴적 망각이 경사 하강법 기반 최적화의 근본적인 한계에서 기인한다고 분석했다. 빠른 학습과 장기적 통합 사이의 명시적 분리 없이 새로운 업데이트가 기존 표현을 덮어쓰는 구조가 문제의 핵심이다. LoRA나 리플레이 버퍼 같은 기존 완화책은 확장성과 비용 측면에서 트레이드오프가 존재함을 지적했다.

제안된 이중 메모리 아키텍처는 뇌의 학습 방식을 모방하여 빠른 에피소드 기억과 느린 의미론적 통합 메모리를 결합했다. 이 구조는 새로운 도메인 데이터를 빠르게 수용하면서도 기존의 일반 지식을 담당하는 가중치를 보호하도록 설계됐다. 초기 실험 결과 순차적 분할 벤치마크에서 약 98%의 높은 지식 보존율을 기록하며 표준 그래디언트 베이스라인을 압도했다.

공유된 5가지 테스트 지표에 따르면 제안된 방식은 연속 학습 보존율에서 0.980을 기록하여 베이스라인의 0.006 대비 압도적인 격차를 보였다. Few-shot(k=1) 정확도에서도 0.593으로 베이스라인(0.264)보다 약 33%p 높은 성능을 나타냈다. 특히 5,000개 토큰 이상의 긴 문맥 회상(Long-horizon recall) 테스트에서는 베이스라인 대비 8배 높은 성능을 입증했다.

커뮤니티에는 리플레이나 정규화 외에 LLM 연속 학습에 유망한 접근법이 무엇인지에 대한 논의가 이어졌다. 아키텍처 차원의 메모리 분리가 실무적인 멀티태스크 LLM 구축에서 발생하는 병목 현상을 해결할 수 있는 실행 가능한 방향인지가 주요 쟁점이다. 다만 순수 피처 전이 작업에서는 성능이 다소 약화되는 한계점이 존재함이 확인됐다.

용어 해설

파괴적 망각(Catastrophic Forgetting): — 신경망이 새로운 정보를 학습할 때 이전에 학습했던 지식을 급격히 잊어버리는 현상이다. 가중치 업데이트 과정에서 기존 지식을 담당하던 파라미터가 덮어씌워지며 발생하며, 연속 학습(Continual Learning)의 주요 장애물로 꼽힌다.
연속 학습(Continual Learning): — 데이터가 순차적으로 들어오는 환경에서 모델이 이전 지식을 유지하면서 새로운 정보를 지속적으로 학습하는 기법이다. 정적인 데이터셋 학습과 달리 시간 흐름에 따른 지식 누적과 망각 방지가 핵심적인 연구 과제이다.
이중 메모리 아키텍처(Dual-Memory Architecture): — 뇌과학의 상보적 학습 시스템에서 영감을 얻어 빠른 에피소드 기억과 느린 의미론적 통합 메모리를 분리한 구조이다. 단기적인 빠른 학습과 장기적인 지식 보존을 동시에 달성하여 파괴적 망각을 해결하려는 접근 방식이다.
탄성 가중치 통합(EWC): — Elastic Weight Consolidation의 약자로, 이전 작업에 중요했던 가중치가 변하지 않도록 정규화 항을 추가하는 기법이다. 새로운 작업 학습 시 기존 지식의 손실을 최소화하기 위해 가중치 변화에 페널티를 부여한다.

언급된 도구

LoRA중립

효율적인 파인튜닝 및 망각 완화

EWC중립

가중치 보존을 통한 연속 학습