로그-선형 확장
모델의 크기(파라미터 수)가 로그 스케일로 증가할 때 성능 지표가 선형적으로 개선되는 현상이다. 이는 아키텍처가 규모에 따라 예측 가능하게 성능이 향상됨을 의미한다.
24B 모델을 2.3B 연산으로? Liquid AI의 새로운 MoE 모델 출시