LLM 추론 가속화: KV 캐시와 Paged Attention의 이해

LLM 추론 프로세스는 입력 프롬프트를 처리하는 프리필 단계와 토큰을 순차적으로 생성하는 디코드 단계로 구성되며, 각 단계는 연산 중심과 메모리 대역폭 중심이라는 서로 다른 병목 현상을 겪는다. 추론 속도를 높이기 위해 이전 토큰의 연산 결과를 저장하는 KV 캐시가 필수적이지만, 이는 시퀀스 길이에 따라 막대한 GPU 메모리를 점유하며 심각한 메모리 파편화 문제를 야기한다. 이를 해결하기 위해 등장한 Paged Attention은 운영체제의 가상 메모리 개념을 도입하여 KV 캐시를 작은 블록 단위로 관리함으로써 메모리 낭비를 최소화하고 동적 할당을 가능하게 한다. 이러한 최적화 기법은 GPU 메모리 활용도를 극대화하여 동일 자원 대비 처리량을 2~4배 이상 향상시키고 대규모 서비스 운영 비용을 획기적으로 절감하는 핵심 기술로 자리 잡았다.