sparse-expert-residency
희소 전문가 페이지 거주성
MoE(모듈식 전문가) 블록에서 활성화되는 '전문가' 파라미터 페이지를 필요할 때 스트리밍하거나 캐시에 유지하는 정책으로, 어떤 전문가 페이지를 호스트 또는 가속기에 상시 유지할지 런타임이 결정한다. 입력은 토큰당 활성 전문가 인덱스와 페이지 요청이며 처리 과정은 페이지 캐시, 교체 정책, 전송 스케줄링이고 결과는 메모리 사용을 최소화하면서도 MoE 모델의 토큰별 활성화를 지원하는 성능이다. 이 전략은 특히 모델 전체 파라미터가 메모리에 들어가지 않는 경우에 중요하다.
