KV Cache와 GPU 메모리 병목, PagedAttention이 해결한 방식

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

GPU에서의 LLM 추론은 KV Cache 증가로 쉽게 메모리 병목에 걸리며, 작성자는 운영체제의 가상메모리와 copy-on-write 개념을 KV Cache 관리에 적용한 PagedAttention이 이 문제를 완화한다고 설명했다. PagedAttention은 KV 데이터를 페이지 단위로 다루어 자주 사용되지 않는 부분은 물리적 GPU 메모리에 상주시키지 않거나 공유 상태로 두고 쓰기 발생 시에만 복사함으로써 메모리 사용을 줄인다. 첨부 인포그래픽과 강의 링크는 적용 사례에서 메모리 사용량 감소와 처리량 2–3배 향상이라는 수치를 제시하며, 이러한 접근을 연속 배칭과 결합하면 메모리 중심의 병목을 완화해 더 큰 컨텍스트와 높은 동시성을 처리할 수 있다고 결론지었다.

실용적 조언

KV Cache가 커지면서 GPU 메모리 병목이 발생하면 페이지 기반 관리와 copy-on-write 같은 기법을 적용해 불필요한 메모리 복사를 줄이고 처리량을 개선할 가능성이 있다. 이러한 기법은 구현 수준에서 KV 저장소를 페이지로 분할하고 읽기 전용 공유를 기본으로 하며 쓰기 시에만 물리적 복사를 수행하도록 설계해야 효과를 발휘한다. 또한 연속 배칭을 함께 사용해 토큰당 오버헤드를 낮추는 작업이 병행되어야 실질적 처리량 개선을 얻을 수 있다.

섹션별 상세

운영체제 개념이 GPU 메모리 관리에 반복적으로 등장한다는 관찰이 본문에서 출발한다. 작성자는 KV Cache를 관리할 때 가상메모리와 copy-on-write 같은 운영체제 기법을 적용하는 사례를 지적했고, 이러한 설계가 추론 시스템에서 왜 중요한지를 연결했다. 이 관찰의 근거로 작성자는 PagedAttention이라는 명칭과 이를 설명하는 시각 자료 및 강의 링크를 제시했다. 이 흐름은 GPU가 단순한 연산 장치가 아니라 메모리 관리 측면에서 운영체제적 설계가 영향을 준다는 점을 강조한다.

PagedAttention의 핵심은 KV Cache를 페이지 단위로 취급하고 필요할 때만 GPU 상에서 매핑하거나 복사하는 것이다. 입력 토큰이 늘어날수록 KV 벡터가 커져 GPU 메모리가 병목이 되는데, PagedAttention은 가상메모리 방식으로 사용 빈도가 낮은 데이터의 물리적 상주를 늦추고 copy-on-write로 불필요한 중복 할당을 회피한다. 본문과 첨부 이미지에서는 이 접근으로 메모리 사용량이 줄고 처리량이 증가한다고 설명하며, 이미지에는 50% 정도 메모리 절감과 2–3배 처리량 향상이라는 표기가 포함되어 있다. 이 기법은 메모리 한계로 인해 큰 컨텍스트나 높은 동시성을 포기하던 추론 워크로드의 제약을 완화한다.

연속 배칭은 개별 요청의 오버헤드를 묶어 토큰당 처리 비용을 낮추는 패턴으로 본문에서 함께 언급되었다. 입력을 묶어 연속적으로 배치하면 GPU의 계산 파이프라인과 메모리 접근 패턴이 더 효율적으로 동작하고, PagedAttention과 결합할 때 전체 처리량과 자원 효율이 상승한다. 작성자는 이 세 가지 요소(KV Cache의 본질, PagedAttention의 페이지·COW 접근, 연속 배칭)의 결합이 vLLM과 유사한 추론 엔진이 처리량을 크게 올리는 배경이라고 요약했다. 따라서 메모리 중심의 병목을 해결하려면 메모리 관리 전략과 배칭 전략을 함께 고려해야 한다.

이미지 분석

Infographic
이미지는 왼쪽에 PagedAttention 미적용 시 GPU 메모리 낭비(예: 67% 낭비)와 OOM 위험을, 오른쪽에 PagedAttention 적용 시 약 50% 수준의 메모리 절감과 2–3배 처리량 증가라는 비교 수치를 제시한다. 이미지 구성은 KV Cache를 페이지화하고 필요 시에만 GPU에 복사하거나 매핑하는 흐름을 시각적으로 보여주며, 이는 본문에서 언급한 가상메모리와 copy-on-write 개념이 추론 엔진 성능에 미치는 영향을 직관적으로 전달한다.
KV Cache의 메모리 사용을 PagedAttention 도입 전후로 비교해 가시화한 인포그래픽으로, 가상메모리와 copy-on-write를 활용해 GPU 메모리 낭비를 줄이고 처리량을 높인다는 요지를 담고 있다.

용어 해설

KV Cache: — 모델의 이전 토큰에 대응하는 key와 value 벡터를 저장하는 메모리 구조로, 다음 토큰 추론 시 과거 문맥을 빠르게 재사용하게 하여 연속된 컨텍스트 처리를 가능하게 한다.
PagedAttention: — KV Cache를 페이지 단위로 관리하여 사용 빈도가 낮은 페이지를 별도 저장소로 분리하고 필요한 페이지만 GPU에 매핑하거나 복사하는 방식으로 메모리 효율을 높이는 기법으로, 가상메모리와 copy-on-write 개념을 차용한다.
Copy-on-Write: — 메모리 블록을 읽기 전용으로 공유하다가 쓰기 작업이 발생할 때만 실제로 데이터 복사를 수행해 별도 공간을 할당하는 운영체제 기법으로, KV Cache의 중복 복사를 줄여 GPU 메모리 부담을 완화한다.
Continuous Batching: — 여러 요청을 고르게 합쳐서 연속적으로 배치 처리함으로써 GPU 활용률을 높이고 토큰당 오버헤드를 분산시키는 처리 패턴으로, 메모리·연산 병목을 완화하는 데 활용된다.

언급된 도구

vLLM중립

추론 엔진으로서 PagedAttention 유사 기법을 활용해 GPU 메모리 사용을 줄이고 처리량을 높이는 사례로 언급되었다

언급된 리소스

DemoKV Cache visual lecture (YouTube)