관련 기사 바로가기
Mamba의 순차적 그래디언트 갱신과 파라미터 요구Orthrus: 진화 및 기능적 RNA 파운데이션 모델을 향하여MACE-Dance: 음악 기반 댄스 비디오 생성을 위한 동작-외형 직렬 전문가 모델StateSMix: Mamba 상태 공간 모델과 희소 N-gram 컨텍스트 믹싱을 통한 온라인 무손실 압축SSM이 파라미터 골프 대회에서 Transformer보다 불리한 이유Cursor를 활용한 1인 개발 OS: 18개 커널과 220만 개 테스트 통과MIT 연구진, 학습 중에 모델을 압축하는 새로운 기법 'CompreSSM' 개발3,000개 파라미터 모델로 100만 길이 XOR 시퀀스 완벽 추론: 기하학적 흐름 네트워크(GFN)의 제안Olmo Hybrid와 미래의 LLM 아키텍처: Transformer를 넘어서는 효율성SM-HAD: 주파수·국지성·장거리 모델을 결합한 하이퍼스펙트럴 이상 탐지SubQ: 1200만 토큰 컨텍스트를 지원하는 최초의 서브 쿼드라틱 LLMWindows에서 Mamba-ssm을 대체하는 SM1(Scalar Mamba1) 구현Mamba4 해설: Transformer를 대체할 시퀀스 모델링용 고속 아키텍처Mamba-2.8b 기반 잠재 추론 엔진: KV-캐시 없이 O(1) 메모리로 추론 구현MIRAS 프레임워크: Transformer, Mamba, RetNet을 연상 기억 관점에서 통합NVIDIA, 하이브리드 Mamba-Transformer 구조의 Nemotron 3 Nano 4B 공개NVIDIA Nemotron 3 Super: 에이전트 AI를 위한 1,200억 파라미터 하이브리드 모델 출시시스템 프롬프트의 관계적 프레임워크가 LLM의 생성 역학을 변화시킨다는 연구 결과트랜스포머를 넘어서는 효율성과 성능을 가진 새로운 AI 아키텍처 및 스케일링 전망트랜스포머, 컨볼루션, 하이브리드 아키텍처 비교를 위한 LOLAMEME 프레임워크
