moe
모델의 전체 파라미터 중 일부만 활성화하여 추론 효율을 높이는 아키텍처이다. 입력 데이터에 따라 적절한 '전문가' 네트워크를 선택하여 처리함으로써 연산 비용을 줄이면서도 모델 용량을 키울 수 있다.
8GB GPU로 35B 모델을? Qwen 3.5 MoE의 놀라운 로컬 성능
트랜스포머는 이제 지겨워 기술적으로 우아하고 유망한 AI 연구 분야는?
27B 모델이 이정도? Qwen-3.5-27B로 1시간 만에 완성한 코딩 도구
2026년형 로컬 AI 구축 가이드: RTX 5090과 DeepSeek-R1으로 만드는 보안 최적화 RAG
3090 3대로 돌려본 Qwen 3.5: MoE의 압도적 속도와 27B의 크래시 현상