MIT 연구진, 학습 중에 모델을 압축하는 새로운 기법 'CompreSSM' 개발

섹션별 상세

기존의 모델 경량화 방식은 거대 모델을 먼저 학습시킨 후 압축하거나 작은 모델을 처음부터 학습시켜 성능이 낮아지는 한계가 있었다. CompreSSM은 학습이 완료된 후가 아니라 학습이 진행되는 도중에 모델을 '수술적'으로 정밀하게 압축하여 이러한 트레이드오프를 해결한다. 이를 통해 대규모 모델의 복잡한 동역학을 학습 초기에 포착하면서도 최종적으로는 작고 빠른 모델을 얻을 수 있다. 결과적으로 전체 학습에 필요한 컴퓨팅 자원과 시간을 획기적으로 절감한다.

연구진은 제어 이론에서 사용하는 한켈 특이값(Hankel Singular Values)을 도입하여 모델 내부 상태의 기여도를 정량적으로 측정했다. 학습 과정의 약 10%가 지난 시점에서 각 차원의 중요도 순위가 안정화된다는 사실을 발견하고 이를 기반으로 불필요한 요소를 제거한다. 입력 데이터가 모델의 출력에 미치는 영향력을 수학적으로 계산하여 성능에 기여하지 않는 '데드 웨이트'를 조기에 걸러내는 방식이다. 이후 남은 90%의 학습은 훨씬 작은 모델 크기로 진행되어 추론뿐 아니라 학습 속도 자체를 가속화한다.

이미지 분류 벤치마크와 Mamba 아키텍처 테스트에서 기존 방식 대비 압도적인 효율성과 성능을 입증했다. CIFAR-10 벤치마크에서 상태 차원을 4분의 1로 줄였음에도 85.7%의 정확도를 기록하여 처음부터 작게 학습시킨 모델(81.8%)보다 높은 성능을 보였다. 특히 Mamba 모델에서는 성능을 유지하면서도 학습 속도를 약 4배까지 향상시키는 성과를 거두었다. 이는 거대 모델의 성능적 이점과 소형 모델의 운영 효율성을 동시에 확보할 수 있음을 의미한다.

용어 해설

상태 공간 모델(State-Space Model): — 시계열 데이터나 순차적 데이터를 처리하기 위해 시스템의 내부 상태를 수학적으로 모델링하는 아키텍처이다. RNN의 병렬 처리 한계를 극복하고 긴 시퀀스를 효율적으로 처리할 수 있어 최근 LLM 아키텍처의 대안으로 주목받고 있다.
한켈 특이값(Hankel Singular Values): — 제어 이론에서 시스템의 각 내부 상태가 전체 입출력 동작에 기여하는 정도를 측정하는 지표이다. 이 값이 클수록 해당 상태가 모델의 성능에 중요한 역할을 함을 의미하며, 모델 압축 시 제거할 요소를 판단하는 근거가 된다.
지식 증류(Knowledge Distillation): — 거대한 교사(Teacher) 모델의 지식을 작은 학생(Student) 모델에게 전달하여 성능을 유지하면서 크기를 줄이는 기법이다. 하지만 교사 모델을 먼저 완전히 학습시켜야 하므로 초기 학습 비용이 높다는 단점이 있다.
가지치기(Pruning): — 학습된 모델에서 중요도가 낮은 파라미터나 뉴런을 제거하여 모델을 경량화하는 기법이다. 일반적으로 학습이 완료된 후 수행되므로 전체 학습 과정의 자원 소모를 줄이지는 못한다.

기술

CompreSSM
Mamba
State-Space Models
Liquid AI

활용 사례

자원 제약 환경에서의 온디바이스 AI 학습
실시간 오디오 및 비디오 처리 모델 경량화
저전력 로보틱스 제어 시스템용 AI 모델 구축