Spectral Break-Even
스펙트럴 손익분기
모델 가중치의 특잇값(스펙트럼) 감쇠율이 특정 임계값보다 느릴 때(rank 확장으로 얻는 꼬리 에너지 이득)가 낮정밀도(양자화)로 절감한 비용보다 더 큰 상황을 뜻한다. 입력은 특잇값 분포의 감쇠계수 γ이고, 판단 기준은 각 k 축에서의 에너지 누적과 양자화로 잃는 에너지의 비교이며, 실험적으로 Llama-2/3의 γ 분포가 이 조건에 들어오면 저비트(low-rank) 접근이 더 유리하다.
스펙트럴 손익분기
모델 가중치의 특잇값(스펙트럼) 감쇠율이 특정 임계값보다 느릴 때(rank 확장으로 얻는 꼬리 에너지 이득)가 낮정밀도(양자화)로 절감한 비용보다 더 큰 상황을 뜻한다. 입력은 특잇값 분포의 감쇠계수 γ이고, 판단 기준은 각 k 축에서의 에너지 누적과 양자화로 잃는 에너지의 비교이며, 실험적으로 Llama-2/3의 γ 분포가 이 조건에 들어오면 저비트(low-rank) 접근이 더 유리하다.
