관련 기사 바로가기
로컬 LLM의 추론 허점을 찾아내는 역사 및 물리 상식 테스트 프롬프트 공유Mac Studio에서 Qwen 3.5 397B MoE 모델의 검열 제거 및 거부 서브스페이스 분석Triton 커널을 활용한 MoE 추론 최적화: Mixtral-8x7B에서 최대 6.5배 성능 향상Gemma 4 무검열 버전 출시 — 4개 모델 전체, MoE 전문가층 제거 및 자동화된 연구 루프 적용Qwen3.5 35B A3B 모델 수정 및 Claude Opus 데이터셋 기반 파인튜닝 버전 공개16GB Mac에서 26B급 MoE 모델을 고품질로 실행하는 방법 및 LM Studio 'Thinking' 활성화 팁Dual RTX 3090 기반 Gemma 4 MoE 모델 벤치마크: 120 TPS 달성토큰의 딜레마: 거대 비전 언어 모델의 지속 학습을 위한 드리프트 인식 토큰 할당 기반 동적 MoEMoE 모델 추론 속도를 2.3배 향상시킨 추론 엔진 개발 및 피드백 요청[R] CS-MoE: 트랜스포머의 심각한 파라미터 중복을 발견하고 레이어 간 전문가 공유로 해결 (55% 활성화로 Dense 모델 능가)11세 소년이 1달러로 직접 학습시킨 커스텀 MoE LLM 'Wind Arc 1.6' 공개프롬프트가 필요 없는 범용 영역 제안 네트워크 (PF-RPN)Nemotron-Cascade 2: 계단식 강화학습과 다중 도메인 온폴리시 증류를 통한 LLM 사후 학습동적 연산 할당 및 부하 분산을 지원하는 자기회귀 언어 모델링을 위한 전문가 임계값 라우팅다양한 이미지 스타일 변환을 위한 스타일 전문가 혼합 모델 (StyleExpert)Mistral, 119B 파라미터의 Mixture-of-Experts 모델 'Small 4' 출시Mistral Small 4 출시: 추론, 멀티모달, 코딩 능력을 통합한 119B MoE 모델LLM 아키텍처 갤러리: GPT-2부터 최신 MoE 및 하이브리드 모델까지의 진화College of Experts - Demo v1.5: Ollama와 ONNX 기반의 하드웨어 가속 AI 프레임워크Graviton-Native: 32GB RAM에서 500B 파라미터 모델 학습 및 실행을 가능하게 하는 아키텍처
