본문으로 건너뛰기

피드 트렌딩 커뮤니티 공지사항 기술 태그 AI 용어 사전 서비스 소개 문의 운영 정책 개인정보 처리방침

매일 업데이트되는 글로벌 소스의 AI/ML 뉴스를 수집하고 한국어로 요약합니다.

AI Trends·후원

피드 트렌딩 커뮤니티 공지

피드 트렌딩 커뮤니티 공지

큐 스타일 KV 캐싱 (queue-style KV caching) 용어 설명 | AI Trends

queue-style KV caching

큐 스타일 KV 캐싱

중급

긴 시퀀스에서도 메모리 사용을 경계하는 큐 구조의 KV 캐시로, 낡은 토큰을 주기적으로 제거하여 O(Q) 메모리 및 연산 복잡도를 유지한다.

비슷한 개념

kv-cache kv-cache-optimization kv-cache-compression kv-compaction hierarchical-temporal-memory paged-kv-cache kv-cache-attention shared-kv-cache

← 용어 사전 전체 보기