희소 모델
모든 파라미터를 동시에 사용하지 않고 필요한 부분만 활성화하는 방식의 모델이다. 메모리와 연산 자원을 효율적으로 관리할 수 있게 한다.
24B 파라미터지만 2B만 사용? Liquid AI의 새로운 MoE 모델 등장