챕터별 상세
00:00
KV Cache 개요
KV Cache는 Meta, Google, OpenAI 등 AI 인프라 면접에서 자주 묻는 핵심 주제이다. 많은 지원자가 단순히 추론 속도를 높인다고만 알고 있으나, 실제 행렬 수준에서의 작동 원리를 이해하는 것이 중요하다. 이 영상은 Self-Attention 내의 Q, K, V 행렬 연산과 KV Cache의 역할을 첫 원칙부터 상세히 분석한다.
03:42
LLM 추론 단계
LLM 추론은 크게 Prefill 단계와 Decode 단계로 나뉜다. Prefill 단계는 입력 토큰을 병렬로 처리하여 첫 번째 출력 토큰을 생성한다. Decode 단계는 생성된 토큰을 기반으로 다음 토큰을 하나씩 순차적으로 생성하는 과정이다.
07:06
Self-Attention 행렬 연산
Self-Attention은 Query(Q), Key(K), Value(V) 행렬의 연산으로 이루어진다. Q와 K의 전치 행렬(Transpose)을 곱해 Attention Score를 구하고, 이를 정규화하여 Attention Weights를 얻는다. 최종적으로 Attention Weights와 V 행렬을 곱해 Context Vector를 생성한다.
04:03
Prefill 단계의 동작
Prefill 단계에서는 모든 입력 토큰이 병렬로 처리된다. 모델은 입력 토큰 간의 관계를 Attention 메커니즘으로 계산하고 첫 번째 출력 토큰을 생성한다. 이 과정은 연산 집약적인 작업이다.
04:25
Decode 단계와 KV Cache
Decode 단계에서는 한 번에 하나의 새로운 토큰이 생성된다. 매 단계마다 이전 토큰의 K와 V 행렬을 다시 계산하는 것은 비효율적이다. KV Cache는 이전에 계산된 K와 V 행렬을 메모리에 저장하여 재사용함으로써 중복 연산을 제거한다.
13:00
행렬 수준의 KV Cache
행렬 수준에서 KV Cache는 이전 토큰들의 K와 V 행렬을 캐싱한다. 새로운 토큰이 생성될 때마다, 전체 행렬을 다시 계산하는 대신 캐싱된 K, V 행렬에 새로운 토큰의 K, V 벡터만 추가(Append)한다. 이를 통해 연산량을 대폭 줄인다.
16:40
KV Cache의 트레이드오프
KV Cache는 연산 효율성을 높이지만 메모리 사용량이 증가하는 트레이드오프가 존재한다. 캐싱된 K, V 행렬은 GPU 메모리를 점유하며, 이는 LLM 서빙 시 주요 병목 현상이 될 수 있다. 따라서 메모리 최적화 기법이 필수적이다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 06. 16.수집 2026. 06. 16.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
