Data-Aware Truncated SVD
데이터 인지 절단 SVD
클러스터별 입력 통계에 기반해 Weight Matrix의 주성분만을 보존하는 절단형 특잇값 분해 방식으로, 단순한 가중치 SVD 대신 해당 클러스터의 입력 분포에서 중요한 Singular Direction을 유지하도록 설계된다. 이 방법은 Pretrained Representation 손상을 최소화하면서 각 Expert가 서로 다른 Principal Subspace를 담당하도록 초기화하는 데 목적이 있다. 결과적으로 Expert 간 중복을 줄이고 초기 Specialization을 강화하는 역할을 한다.
