35B MoE 미세조정 실패와 라우터 기반 용량 분배 분석
MoE는 라우터가 토큰별로 소수의 전문가를 선택해 용량을 확장하면서 토큰당 연산을 제한하며, 35B 멀티모달 MoE를 네 대의 A100에서 미세조정할 때의 샤딩 실패와 해결 및 라우팅 감사 결과를 보고한다.
세계적인 AI 연구 기관인 Vector Institute의 최신 연구 성과와 캐나다 AI 생태계의 정책
MoE는 라우터가 토큰별로 소수의 전문가를 선택해 용량을 확장하면서 토큰당 연산을 제한하며, 35B 멀티모달 MoE를 네 대의 A100에서 미세조정할 때의 샤딩 실패와 해결 및 라우팅 감사 결과를 보고한다.
The AI Scientist는 파운데이션 모델들을 연계해 연구 아이디어 발굴부터 실험 실행, 원고 작성과 동료심사까지 자동화한 시스템이다.
Vector 연구진이 ICML 2026에 73편의 논문을 채택되어 강화학습, 생성 모델, 멀티모달, 에이전트, 최적화·이론 등 광범위한 연구 성과를 발표했다.
Anne Martel 교수는 의료 영상, 유전체 데이터, 임상 텍스트를 결합한 멀티모달 AI 모델로 암 치료의 개인화를 연구한다.
캐나다 정부가 국가 AI 전략 'AI for All'을 발표하며, Vector Institute를 포함한 AI 연구소들이 기술 혁신과 AI 리터러시 확산을 주도한다.
Vector Institute의 Mohamad Moosavi 교수가 딥러닝을 통해 분자를 수학적으로 미분 가능한 연속 변수로 변환하여 신소재 발견 속도를 획기적으로 높이는 연구를 수행한다.
에이전틱 AI의 다단계 추론과 도구 사용 과정에서 발생하는 '확신에 찬 오류'와 '우발적 정렬 불량'을 해결하기 위한 하이브리드 평가 프레임워크와 안전 원칙을 제시한다.
Vector Institute의 Hassan Ashtiani 교수가 수학적 증명을 통해 AI 시스템의 프라이버시와 신뢰성을 보장하는 이론적 연구와 협력의 중요성을 강조합니다.
Vector Institute 연구진이 ICLR 2026에서 강화학습, 생성형 AI, 자율 에이전트, 신뢰할 수 있는 AI 등 48편의 논문을 통해 AI 기술의 경계를 확장했습니다.