sparse-activation
모델의 전체 파라미터 중 특정 입력에 필요한 일부 뉴런만 활성화하는 방식이다. 메모리 사용량과 연산량을 획기적으로 줄여 거대 모델의 추론 속도를 높이는 데 기여한다.
트랜스포머의 시대는 끝났다? 뇌를 닮은 새로운 AI 아키텍처의 등장
모델이 스스로 구조를 확장한다? 유기적 성장형 신경망 ACOC 프레임워크