active-weights
활성 가중치
MoE 구조에서 특정 시점에 실제로 연산에 참여하는 파라미터의 부분집합을 의미한다. 전체 파라미터 규모가 1조 개더라도 실제 추론 시에는 수십억 개의 활성 가중치만 계산에 사용되어 자원을 절약한다.
중급
활성 가중치
MoE 구조에서 특정 시점에 실제로 연산에 참여하는 파라미터의 부분집합을 의미한다. 전체 파라미터 규모가 1조 개더라도 실제 추론 시에는 수십억 개의 활성 가중치만 계산에 사용되어 자원을 절약한다.