데이터 인지 절단 SVD
클러스터별 입력 통계에 기반해 Weight Matrix의 주성분만을 보존하는 절단형 특잇값 분해 방식으로, 단순한 가중치 SVD 대신 해당 클러스터의 입력 분포에서 중요한 Singular Direction을 유지하도록 설계된다. 이 방법은 Pretrained Representation 손상을 최소화하면서 각 Expert가 서로 다른 Principal Subspace를 담당하도록 초기화하는 데 목적이 있다. 결과적으로 Expert 간 중복을 줄이고 초기 Specialization을 강화하는 역할을 한다.
