Swift-SVD: 저순위 LLM 압축에서의 이론적 최적성과 실용적 효율성 달성

Swift-SVD는 대규모 언어 모델(LLM)의 메모리 및 대역폭 요구 사항을 줄이기 위한 새로운 저순위 압축 프레임워크이다. 기존 SVD 기반 방식들이 정확도나 효율성 중 하나를 희생했던 것과 달리, 이 방식은 활성화 데이터를 기반으로 공분산을 증분 집계하여 단 한 번의 고유값 분해로 최적의 해를 도출한다. 실험 결과 6개 모델과 8개 데이터셋에서 기존 SOTA 대비 압축 시간을 3배에서 최대 70배까지 단축하면서도 높은 정확도를 유지했다. 특히 레이어별 중요도와 유효 랭크를 고려한 동적 할당 전략을 통해 전체적인 성능 저하를 최소화했다.