지속적 학습과 점진적 모델 확장을 통한 LLM의 파라미터 성장 시스템

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

파괴적 망각을 방지하는 지속적 학습 기법과 기존 가중치를 보존하며 모델 크기를 단계적으로 확장하는 점진적 파라미터 성장 방법론을 제안한다.

배경

기존 LLM의 재학습 비용 문제와 파괴적 망각(Catastrophic Forgetting)을 해결하기 위해, 모델을 처음부터 다시 학습시키지 않고도 지식을 추가하고 파라미터 수를 늘릴 수 있는 시스템을 개발하여 공유했다.

의미 / 영향

이 프로젝트는 거대 모델을 매번 처음부터 학습시키는 현재의 비효율적인 패러다임을 바꿀 수 있는 가능성을 제시한다. 특히 중소 규모의 연구팀이 점진적으로 모델을 키워나가며 특정 도메인 지식을 주입하는 데 유용한 전략이 될 것으로 보인다.

커뮤니티 반응

작성자의 실험 결과에 대해 흥미롭다는 반응이며, 특히 파라미터 확장 방식과 물리 기반 어텐션의 실효성에 대해 궁금해하는 분위기이다.

주요 논점

01찬성다수

지속적 학습과 점진적 확장은 컴퓨팅 자원이 부족한 환경에서 LLM을 발전시킬 수 있는 매우 효율적인 접근법이다.

합의점 vs 논쟁점

합의점

기존 LLM의 재학습 비용이 지나치게 높다는 점
파괴적 망각은 지속적 학습의 핵심 난제라는 점

논쟁점

물리 기반 어텐션이 표준 어텐션 대비 실제 성능(정확도)에서 우위를 가질 수 있는지 여부

실용적 조언

모델 확장 시 기존 가중치를 보존하고 새로운 레이어를 점진적으로 추가하여 학습 시간을 단축할 수 있다.

섹션별 상세

파괴적 망각을 해결하기 위해 지식 공간 맵핑과 경계 지식 재현(Boundary Knowledge Replay) 기법을 도입했다. 새로운 데이터를 학습할 때 모델이 이미 알고 있는 정보와 새로운 정보를 구분하고, 잊기 쉬운 지식을 학습 과정에서 다시 노출시켜 기존 지식의 손실을 최소화한다. 또한 학습률을 동적으로 조절하여 확립된 지식이 덮어씌워지는 것을 방지하는 메커니즘을 갖추고 있다.

점진적 모델 확장(Progressive Model Expansion)을 통해 52M에서 시작하여 1B 파라미터까지 모델을 성장시키는 데 성공했다. 각 단계에서 기존의 가중치는 보존된 상태로 새로운 용량이 초기화되고 적응되는 방식을 취하며, 이를 통해 처음부터 거대 모델을 학습시키는 것보다 데이터 요구량을 90%까지 절감할 수 있다. 실제 실험에서 268M에서 1B로 확장 시 웹 퍼플렉시티(Perplexity)가 51% 감소하면서도 이전 지식을 유지했다.

표준적인 내적 어텐션(Dot-product Attention) 대신 물리 법칙에서 영감을 얻은 파동장 간섭 패턴(Wave Field Interference Patterns) 기반의 어텐션 메커니즘을 제안했다. 이 방식은 연산 복잡도를 기존의 O(n²)에서 O(n log n)으로 낮추어 효율성을 극대화하며, 일반적인 GPU 환경에서도 원활하게 작동하도록 설계되었다. 현재 4개의 GPU를 사용하여 7B 파라미터 규모로 확장을 진행 중이며 인스트럭션 튜닝과 DPO를 포함한 전체 파이프라인을 계획하고 있다.

실무 Takeaway

지속적 학습 기법을 통해 새로운 지식 습득 시 기존 지식의 퇴화를 0.1% 수준으로 억제함
기존 가중치를 유지하며 모델 크기를 52M에서 1B까지 단계적으로 확장하여 학습 효율성 증대
물리 기반 어텐션 메커니즘 도입으로 연산 복잡도를 O(n²)에서 O(n log n)으로 개선
재학습 없이 모델을 성장시킴으로써 학습에 필요한 데이터 양을 단계별로 90% 절감 가능

언급된 도구

A10G / L4 GPUs중립

모델 학습 및 테스트 환경