mla
KV 캐시 메모리 사용량을 줄이기 위해 키와 값 벡터를 저차원 잠재 공간으로 압축했다가 추론 시 복원하는 효율적인 어텐션 기법이다.
DeepSeek를 넘어선 모델들? 2026년 초 오픈 웨이트 LLM 아키텍처 총정리
DeepSeek를 넘어선 혁신? 2026년 초를 달군 10대 오픈 웨이트 LLM 아키텍처 총정리
DeepSeek를 넘어선 1조 파라미터 모델까지? 2026년 초 오픈 웨이트 LLM 아키텍처 총정리
엔비디아를 긴장시킨 DeepSeek, 차세대 V4로 AI 판도 뒤흔든다
오픈 소스의 반란, GLM-5가 GPT-5급 성능으로 리더보드 1위 점령