전문가 파라미터 오프로드
전문가 파라미터 오프로드는 MoE 모델의 라우티드 전문가 가중치를 주기억장치 대신 보조저장장치에 보관하고 필요 시 디스크에서 로드하는 전략이다. 본 프로젝트는 밀집 부분만 RAM에 상주시키고 전문가 파라미터를 NVMe 같은 디스크에서 스트리밍해 메모리 한계를 극복했다. 이 방식은 메모리 비용을 줄이는 대신 디스크 I/O와 레이턴시 트레이드오프를 유발한다.