A100‑80GB 한 대로 128K 컨텍스트 동시 처리 실험과 KV 캐시 압축 성능

커뮤니티 반응은 호기심과 검증 요청이 혼재했다. 많은 참여자가 수치와 재현 카드를 근거로 실제 프로덕션 적용 가능성을 타진했고 일부는 압축된 KV를 직접 읽는 어텐션 경로의 구현 난이도와 레이턴시 영향을 우려했다. 전반적으로 실험 결과를 긍정적으로 보는 의견이 많았고 재현 사례와 코드 공유를 요구하는 반응이 다수였다.

• 압축을 설계할 때는 압축률뿐 아니라 압축된 상태로의 직접 읽기 경로가 병목이 되지 않도록 어텐션 백엔드와의 연동을 우선적으로 검증할 것.
• 메모리 사용량 감소를 측정할 때는 디코드 지연과 집계 처리량의 변화를 동시에 계측해 실제 용량 이득이 서비스 처리량으로 연결되는지 확인할 것.
• 재현 카드를 기반으로 fp16, fp8, 구조적 압축 각 모드에서 동일한 작업부하로 벤치마크를 수행해 동시 사용자 한계와 정합성(예: 검색 정확도)을 비교할 것.

KV cache

— Transformer 기반 추론에서 어텐션 키와 값 행렬을 대화 문맥마다 저장해 재사용하는 메커니즘으로, 긴 컨텍스트를 처리할 때 메모리 사용량이 급증하는 주된 요인이다. KV 캐시는 토큰 생성 시 매 스텝마다 이전 토큰에 대한 어텐션 연산을 가능하게 하며, 캐시에 저장된 키·값을 조회해 어텐션 점수를 계산한다. 이 글에서는 KV 캐시를 압축해 메모리 점유를 줄이고 동시 사용자 수를 늘리는 실험 결과가 핵심이다.

KV compression

— KV 페이지를 구조적으로 압축해 GPU 메모리 점유를 낮추는 기법으로, 원문 맥락은 논리적으로 유지하면서 물리적 저장 용량을 줄이는 방식이다. 런타임은 압축된 KV 페이지를 저장하고 어텐션 백엔드는 필요 시 압축된 상태에서 직접 읽어 연산에 사용하므로 압축 해제와 재물질화 비용을 최소화하는 것이 관건이다. 본 실험에서는 압축된 KV를 직접 읽는 경로가 처리량 확보에 큰 영향을 미친다고 보고되었다.

FP8

— 모델 파라미터와 중간 표현을 8비트 부동소수점 형식으로 표현해 메모리 사용과 대역폭을 줄이는 양자화 방식으로, 정밀도와 성능 사이 트레이드오프가 존재한다. FP8으로 KV를 저장하면 단일 GPU에서 처리할 수 있는 동시 사용자 수가 늘어날 수 있으나 양자화·역양자화 비용과 정합성 검증이 필요하다. 원문은 fp8 KV와 비교해 구조적 압축의 처리량 효과를 실험으로 제시하고 있다.

Preemption

— GPU 추론 환경에서 스케줄러가 실행 중인 작업을 강제로 중단하고 다른 작업을 실행하도록 전환하는 동작으로, 사용자당 '프리엠션 프리' 상태는 추론이 중단되지 않고 지속되는 것을 의미한다. 프리엠션이 잦으면 긴 컨텍스트 세션의 지연과 처리량이 저하되므로 동시 사용자 수 산정에서 중요한 고려사항이 된다. 본 실험은 'preemption free concurrent users'를 측정 지표로 사용해 압축의 실용성을 판단했다.

Attention backend

— 어텐션 연산을 실제로 수행하는 런타임 구성요소로, KV를 어떻게 읽고 연산에 투입하느냐에 따라 전체 지연과 처리량이 달라진다. 압축된 KV를 백엔드가 직접 읽으면 재물질화 오버헤드를 피할 수 있고, 반대로 압축 해제 후 fp16으로 복원하면 성능 이득이 사라질 수 있다. 원문은 이 읽기 경로의 구현이 압축의 실효성을 결정짓는 핵심 요인이라고 보고했다.