moe

모델의 전체 파라미터 중 일부만 활성화하여 추론 효율을 높이는 아키텍처이다. 입력 데이터에 따라 적절한 '전문가' 네트워크를 선택하여 처리함으로써 연산 비용을 줄이면서도 모델 용량을 키울 수 있다.