super-weight
슈퍼 웨이트
모델 내부에서 극히 적은 수의 파라미터로서 모델의 출력 분포와 생성 품질에 불균형적으로 큰 영향을 미치는 가중치를 가리킨다. 이 파라미터는 특정 채널에서 매우 큰 활성값(슈퍼 액티베이션)을 유도하며 잔차 연결을 통해 네트워크 전반으로 전파되어 토큰 확률을 재조정한다. 슈퍼 웨이트를 식별·보존하면 표준 양자화나 블록 기반 압축에서 성능 저하를 크게 줄일 수 있다.
중급
슈퍼 웨이트
모델 내부에서 극히 적은 수의 파라미터로서 모델의 출력 분포와 생성 품질에 불균형적으로 큰 영향을 미치는 가중치를 가리킨다. 이 파라미터는 특정 채널에서 매우 큰 활성값(슈퍼 액티베이션)을 유도하며 잔차 연결을 통해 네트워크 전반으로 전파되어 토큰 확률을 재조정한다. 슈퍼 웨이트를 식별·보존하면 표준 양자화나 블록 기반 압축에서 성능 저하를 크게 줄일 수 있다.