슬라이딩 윈도우 어텐션
고정된 크기의 윈도우를 이동시키며 특정 범위 내의 토큰들만 참조하는 어텐션 기법이다. 긴 문맥을 처리할 때 메모리 사용량을 효율적으로 관리할 수 있게 해준다.
DeepSeek를 넘어선 혁신? 2026년 초를 달군 10대 오픈 웨이트 LLM 아키텍처 총정리
DeepSeek를 넘어선 1조 파라미터 모델까지? 2026년 초 오픈 웨이트 LLM 아키텍처 총정리
4GB 램 아이폰으로 일본 여행? 오프라인 AI 구축기