본문으로 건너뛰기

피드 트렌딩 커뮤니티 공지사항 기술 태그 AI 용어 사전 서비스 소개 문의 운영 정책 개인정보 처리방침

매일 업데이트되는 글로벌 소스의 AI/ML 뉴스를 수집하고 한국어로 요약합니다.

AI Trends·후원

피드 트렌딩 커뮤니티 공지

피드 트렌딩 커뮤니티 공지

KV 캐싱 (kv-caching) 용어 설명 | AI Trends

kv-caching

KV 캐싱

중급

이전 추론 단계에서 계산된 Key와 Value 텐서를 저장해두었다가 다음 단계에서 재사용함으로써 중복 계산을 방지하고 속도를 높이는 최적화 기법이다.

비슷한 개념

kv-cache kv-quantization kv-cache-compression kv-compaction persistent-kv-cache shared-kv-cache mla kv-cache-quantization

← 용어 사전 전체 보기