희소 어텐션
어텐션 메커니즘에서 중요도가 낮은 토큰을 제외하고 계산하여 효율성을 높이는 방식이다. 긴 문맥을 처리할 때 발생하는 연산량의 급격한 증가를 억제한다.
AI가 일자리를 뺏는다고? 오히려 'X 엔지니어'가 쏟아질 것 - 앤드류 응의 통찰
오픈 소스의 반란, GLM-5가 GPT-5급 성능으로 리더보드 1위 점령
MIT 라이선스로 공개된 GLM-5, Modal에서 무료 API로 즉시 사용 가능