SeKV: 계층적 시맨틱 메모리를 통한 해상도 적응형 KV 캐시로 장문 컨텍스트 LLM 추론 효율화

왜 중요한가

장문 컨텍스트 처리에서 KV 캐시가 디코딩 메모리 병목을 일으켜 실제 배포 환경에서 전체 컨텍스트를 GPU에 상주시키기 어렵다. SeKV는 컨텍스트를 의미적 스팬 단위로 계층화하고 요약벡터는 GPU에, 토큰 구조의 저계수 SVD는 CPU에 저장해 필요한 스팬만 동적으로 재구성함으로써 메모리와 정확도 사이의 상충을 줄였다. 이 결과는 대규모 모델을 실용적 비용과 지연으로 장문 추론에 적용할 수 있는 실무적 경로를 제시했다.

핵심 기여

엔트로피 기반 스팬 분할을 통한 의미 단위 형성

prefill 단계에서 토큰 서프라이절을 이용해 의미적으로 일관된 스팬 경계를 자동으로 탐지하고, 높은 서프라이절 토큰을 앵커로 GPU에 유지해 후속 라우팅과 복원에 핵심 신호로 사용했다. 이 방식은 외부 분할기 없이 내용 밀도에 따라 스팬 길이를 적응시키며 정보가 밀집한 구간에 더 높은 해상도를 할당한다. 결과적으로 스팬 단위 표현이 임의 청크보다 재구성 효율과 압축성을 동시에 개선했다.

GPU 요약벡터와 CPU 저계수 SVD의 이중 해상도 표현

각 스팬은 GPU에 서프라이절 가중 평균으로 계산된 저차원 요약키와 서프라이절 가중 평균 키·값을 유지하고, CPU에는 트렁케이티드 SVD 인수분해(UΣVᵀ)를 저장해 토큰 수준 재구성에 사용했다. 학습 가능한 성분 게이트로 스팬별 유효 랭크를 예측해 전송량과 재구성 정확도 사이의 균형을 자동 조절했다. 이 구조는 전체 토큰을 GPU에 보관하지 않고도 필요 시 정밀한 토큰 기여를 복원할 수 있게 했다.

학습 기반의 per-head·per-layer 줌인 라우팅과 예산 제어

쿼리와 스팬 요약벡터 간의 라우팅 확률을 학습하고 각 헤드·레이어별 임계값으로 확장을 결정하는 줌인 정책을 도입해 디코딩 중 필요한 스팬만 선택적으로 재구성했다. 증류 손실과 줌 정답, 재구성 오류, 예산 페널티를 결합한 목적함수로 라우팅, 성분 게이트, 임계값을 공동 학습했다. Straight-through estimator로 이진 확장 결정을 미분 가능하게 처리해 기본 LLM은 고정한 채로 경량 모듈만 훈련했다.

대규모 벤치마크에서의 성능·비용 균형 실증

LongBench, RULER, InfiniteBench, NIAH 등 네 개 장문 벤치마크와 GSM8K의 many-shot 실험에서 동등한 GPU 예산(10%) 하에 가장 높은 압축 성능을 보였고, 전체 설정에서 SentenceKV 대비 평균 +5.9% 향상과 128K에서 Full KV 대비 GPU 메모리 53.3% 절감을 달성했다. 레이턴시와 처리량 측정에서 FullKV에 비해 지연을 줄이며 처리량을 개선하는 균형을 유지했다. 이 결과는 동적 해상도 복원이 실제 장문 추론 정확도를 회복하는 데 효과적임을 입증했다.

핵심 아이디어 이해하기

Transformer의 self-attention은 쿼리와 모든 과거 토큰의 key·value를 비교하므로 KV 캐시 크기가 시퀀스 길이에 따라 선형으로 증가하고 디코딩 내내 유지돼야 한다. 이로 인해 128K 같은 초장문에서는 전체 KV를 GPU에 상주시키는 것이 현실적으로 어려워지며, 기존의 토큰 제거나 정적 압축은 나중에 중요한 증거를 잃게 만드는 단점이 있다.

이 논문의 해결 방향은 컨텍스트를 의미 단위로 계층화하고 각 단위를 두 수준으로 표현하는 것이다. 우선 prefilling에서 계산되는 토큰 서프라이절을 이용해 의미적 경계(스팬)를 감지하고, 각 스팬은 GPU에 경량 요약벡터와 일부 앵커 토큰을 유지하며 CPU에는 스팬의 키·값 행렬에 대한 저계수 SVD 인수분해를 저장한다. 디코딩 시에는 쿼리를 요약 공간으로 투영해 관련 스팬을 라우팅하고, 선택된 스팬만 CPU에서 저계수 성분을 비동기 전송해 토큰 수준으로 재구성한다.

이 접근은 '정보를 영구 삭제하지 않으면서' GPU 메모리를 크게 줄이는 동적 해상도 배분을 가능하게 한다. 요약벡터는 효율적인 라우팅을 제공하고 저계수 SVD는 필요한 경우에 한해 토큰 수준 기여를 거의 원본에 가깝게 복원하므로, 정적 압축보다 검색 민감한 작업에서 성능 손실이 적게 나타난다.

관련 Figure

Diagram
그림 왼쪽은 토큰 단위 소거가 문서 초반과 끝에서 주의가 집중되고 중간의 정답 구간이 소실되는 문제를 시각적으로 보여준다. 그림 오른쪽은 엔트로피로 구분한 스팬, GPU 요약벡터, CPU SVD 기저, 그리고 줌인 시 토큰 수준 재구성 흐름을 한눈에 보여 SeKV의 핵심 설계 의도를 강조한다. 이 도식은 스팬 기반 계층화가 왜 정적 압축보다 유리한지와 앵커 토큰 보존의 역할을 직관적으로 전달한다.
토큰 소거 방식과 SeKV의 계층적 메모리 차이를 비교한 개념 도식으로, 소거는 정보 손실을 유발하는 반면 SeKV는 스팬 기반 요약과 줌인으로 정보를 보존하는 구조를 보여준다.

방법론

시스템 전체 흐름은 세 단계로 구성된다. 먼저 prefilling 단계에서 모델이 토큰 서프라이절 H_t = -log p(x_t | x_{<t})를 계산해 μ+ασ를 초과하는 위치를 스팬 경계로 선택하고 경계 토큰을 앵커로 고정한다. 두 번째로 각 스팬에 대해 GPU에는 서프라이절 가중 평균으로 투영한 저차원 요약키와 요약 키·값 평균을 저장하고, CPU에는 각 레이어·헤드별 키·값 행렬의 트렁케이티드 SVD(UΣVᵀ)를 계산해 보관한다.

디코딩 단계는 라우팅(Stage 1)과 재구성(Stage 2)의 파이프라인으로 동작한다. 라우팅에서는 쿼리 q^{(l,h)}를 라우팅 투영 W^{(l,h)}으로 변환해 각 스팬의 요약키와 내적을 취한 뒤 시그모이드로 relevance 확률 α_S^{(l,h)}를 얻어 per-head·per-layer 임계값 τ^{(l,h)}와 비교해 확장 여부 z_S^{(l,h)}를 결정한다. 확장된 스팬에 대해 비동기으로 CPU에서 U, Σ, V 요인들을 전송받아 gated한 구성요소 m_{S,i}^{(l,h)}를 적용한 뒤 Eq. 8로 토큰 수준 키·값을 재구성한다.

라벨·손실 설계는 네 항을 조합해 학습 안정성과 메모리 제약을 동시에 유도했다. 교사-학생 증류 손실 D_{KL}(p_{full} || p_{SeKV})가 전체 예측을 정렬하고, 줌 손실은 교사 주의 질량을 기준으로 스팬별 양성 타깃을 만들어 routing 확률을 학습시킨다. 재구성 손실은 SVD 특이값과 게이트 m의 곱으로 근사 오차를 측정하고, 예산 손실은 확장 수와 유지되는 유효 랭크 합에 비용을 부과해 전체 예산 내에서 해상도 분배를 학습하게 했다.

구현상 세부 조치로는 랜덤화된 트렁케이티드 SVD로 prefilling 비용을 병렬화해 전처리 부담을 완화했고, 앵커 토큰과 매우 짧은 스팬은 GPU에 그대로 유지해 전송 오버헤드를 피했다. 학습은 기본 LLM을 동결한 채 라우팅 투영, 임계값, 공통 rank-gate predictor g_ϕ만 학습했고 전체 추가 파라미터는 약 4.3M으로 모델 대비 0.05% 수준이었다.

관련 Figure

Diagram
상단 축에 서프라이절 기반 스팬 경계와 앵커 토큰 표시가 있고 좌측에는 GPU 요약벡터와 CPU SVD 인수분해 보관 구조가 배치되어 있다. 우측의 디코딩 흐름은 Stage 1 라우팅으로 관련 스팬을 결정하고 Stage 2에서 SVD 기저를 CPU에서 가져와 토큰 수준 KV를 재구성해 최종 attention 출력에 병합하는 구체적 순서를 보여준다. 이 그림은 구현 관점에서 비동기 전송과 파이프라인 오버랩이 어떻게 지연을 완화하는지와 각 구성요소의 책임 영역을 명확히 한다.
prefill 단계에서의 스팬 분할과 decoding 단계에서의 라우팅·줌인·재구성 파이프라인을 상세히 나타낸 아키텍처 다이어그램이다.

주요 결과

광범위한 벤치마크 평가에서 SeKV는 같은 GPU 예산(예: 10% KV)에 대해 모든 비교군 가운데 최고 성능을 기록했다. 네 개 장문 벤치마크(LongBench, RULER, InfiniteBench, NIAH)와 many-shot GSM8K에서 압축된 캐시 가운데 평균적으로 SentenceKV 대비 +5.9%의 성능 우위를 보였고, 특히 검색 중심 과제(NIAH, RULER)에서 큰 향상을 나타냈다. 이는 동적 줌인이 스팬 외의 중요한 단일 증거를 회복하는 데 결정적임을 시사한다.

메모리·성능 트레이드오프 분석에서 SeKV는 Full KV 대비 GPU 메모리를 크게 줄이면서도 성능 격차를 좁혔다. 128K 컨텍스트에서 GPU 메모리 사용은 FullKV의 약 74.8GB에서 SeKV는 약 34.9GB로 감소해 53.3% 절감이 관찰되었고, 지연과 처리량 측정에서는 FullKV보다 낮은 지연과 높은 처리량을 유지했다. 실험 표는 동일 예산 조건에서 SeKV가 정확도와 효율성 사이에서 우수한 균형을 달성했음을 보여준다.

행동 분석과 소거(ablation)에서 줌인 결정은 소수의 헤드와 중후반 레이어에 집중되는 특성이 확인되었고, 이는 per-head·per-layer 임계값 설계의 타당성을 뒷받침했다. Needle-in-a-Haystack 실험의 히트맵에서 SeKV는 깊은 위치와 긴 문맥에서도 안정적으로 니들을 회수하는 반면, 토큰 축출 기반 방법들은 길이나 깊이에 따라 실패 구역이 넓게 퍼졌다. 추가 민감도 실험은 요약 차원 d', 최대 SVD 랭크 R, 서프라이절 민감도 α 등 하이퍼파라미터에 따른 성능 변화 경향을 보고했다.

관련 Figure

Chart
SeKV 패널은 전반적으로 녹색(높은 성공률) 영역이 넓게 유지되어 긴 문맥과 깊은 니들 위치에서도 일관된 복구 성능을 보이는 반면 다른 방법들은 긴 문맥에서 실패 구역이 넓게 퍼져 있다. 이 시각화는 SeKV의 동적 재구성 전략이 탐색 공간 전반에서 안정적으로 작동함을 실험적으로 뒷받침한다. 표와 결합된 결과는 NIAH에서의 우수한 정량 성능과 일치한다.
여러 방법의 Needle-in-a-Haystack 복구 성공률을 문맥 길이와 니들 깊이별로 히트맵으로 비교한 결과이다.

Chart
FullKV 곡선은 컨텍스트가 길어짐에 따라 급격히 상승하는 반면 SeKV는 8K에서 128K로 확장할 때 GPU 메모리 사용이 거의 평탄하게 유지되어 메모리 확장성이 크게 개선됨을 보여준다. 다른 압축 방법들은 중간 수준의 메모리 사용을 보이나 정확도와의 균형에서 SeKV가 우수한 트레이드오프를 제공함이 숫자적으로 확인된다. 이 그래프는 SeKV가 대규모 문맥을 실무적으로 처리할 때 메모리 병목을 완화하는 근거를 제공한다.
컨텍스트 길이(8K~128K)에 따른 GPU 메모리 사용량을 FullKV 및 여러 압축 기법과 비교한 선형 그래프이다.

기술 상세

전체 아키텍처는 스팬 분할, 이중 해상도 표현, 학습 기반 라우팅의 세 축으로 구성된다. 스팬 분할은 prefilling에서 계산되는 토큰 서프라이절을 사용해 μ+ασ 기준으로 경계를 정하고, 각 스팬에 대해 앵커 토큰과 요약벡터를 GPU에 유지하며 SVD 요인을 CPU에 저장한다. 요약벡터는 각 레이어·헤드별 W^{(l,h)} 투영을 통해 d' 차원으로 축소되어 라우팅 효율을 보장한다.

저계수 표현은 각 스팬의 키·값 행렬에 대해 트렁크된 SVD를 계산하고, 성분별 soft gate m_{S,i}^{(l,h)}를 학습해 유효 랭크를 스팬별로 할당한다. 게이트는 특이값 스펙트럼과 스팬 요약키를 입력으로 하는 g_ϕ로 예측되며, 저장·전송 시 컴포넌트가 드롭되어 전송량이 줄어든다. 재구성 수식은 K̂_S^{(l,h)} = Σ_i m_{S,i} σ_{S,i} u_{S,i} v_{S,i}^⊤로 주어지고, 이 과정에서 특이값과 벡터는 frozen key·value에서 고정된 상수로 처리되어 SVD 역전파의 불안정을 피했다.

라우팅은 쿼리-요약 내적을 시그모이드로 변환해 독립적 확률을 얻고 per-head 임계값 τ^{(l,h)}로 이진 확장 신호를 생성한다. 학습은 증류 손실, 줌 BCE 손실, 재구성 오차(특이값 기반) 및 예산 페널티를 합한 목적함수로 수행되며 straight-through estimator로 이진 z_S 결정을 미분 가능하게 연결했다. 예산 초과 시 α̃_S 순으로 스팬을 내림차순 선택해 GPU 예산을 만족시키는 작업 흐름을 유지한다.

구현 세부로는 d' = 32, 최대 SVD 랭크 R_max = 32, 서프라이절 민감도 α = 1.0, 줌 초기 임계값 τ = 0.05, 재구성 가중치 λ_2 = 0.5 등을 사용했고 학습은 RedPajama 장문 코퍼스를 활용해 약 0.5B 토큰 규모로 경량 모듈을 훈련했다. 랜덤화된 트렁케이티드 SVD와 비동기 CPU→GPU 전송 파이프라이닝을 통해 prefilling 비용과 런타임 전송 대역폭을 현실적으로 관리했다.

관련 Figure

Chart
히트맵의 밝은 영역은 줌인이 자주 발생하는 헤드·레이어 조합을 가리키며 이는 일부 헤드가 검색·회수 역할을 주로 담당함을 시사한다. 이 관찰은 per-head·per-layer 임계값 설계와 선택적 재구성이 메모리 절약과 성능 유지에 기여하는 메커니즘적 근거를 제공한다. 해당 시각적 증거는 기술적 상세에서 보고된 헤드 특이성 및 레이어 의존성과 일치한다.
레이어와 헤드별 평균 줌인 비율을 히트맵으로 나타낸 그림으로, 특정 중후반 레이어와 일부 헤드에서 줌인이 집중되는 패턴을 보여준다.

한계점

논문에서 명시한 첫 번째 한계는 스팬 분할 품질에 민감하다는 점이다. 서프라이절 기반 경계가 노이즈가 심하거나 표 형식·코드처럼 전형적 언어 구조와 다른 문서에서는 부적절한 분할로 메모리 할당이 비효율적일 수 있다. 두 번째 한계는 설계상 사용자가 제어해야 할 하이퍼파라미터가 여러 개 존재해 새로운 모델이나 극단적 문맥 길이로 이전할 때 검증이 필요하다는 점이다.

세 번째 한계는 CPU–GPU 대역폭 의존성으로, 전송 대역폭이 낮거나 적대적 쿼리 패턴에서 반복적으로 많은 스팬을 활성화하면 지연 이점이 감소할 수 있다. 네 번째 한계는 기본 LLM을 동결한 채 경량 라우팅만 학습하기 때문에 라우팅 모듈과 스팬 표현을 공동으로 훈련하는 방식에 비해 모델 내부의 주의 패턴을 완전히 적응시키는 능력이 제한될 수 있다는 점이다.

실무 활용

SeKV는 기본 LLM을 고정한 채 경량 라우팅 모듈만 학습하기 때문에 기존 추론 파이프라인에 상대적으로 적은 변경으로 통합할 수 있다. GPU 메모리 제약 하에서 장문 문서 검색·요약·추론 서비스의 비용과 배포 난이도를 낮출 수 있는 현실적 대안으로 사용 가능하다. GitHub 저장소(https://github.com/AmirAbaskohi/SeKV)가 공개되어 있어 실무 검증과 시범 배포가 용이하다.

대규모 문서 저장소에서 관련 증거를 문맥 내에서 찾아야 하는 문서 이해·법률 검색·리뷰 요약 서비스에 적용할 수 있다.
멀티턴 장기 대화를 유지하면서 과거 발화 전체를 참조해야 하는 챗봇 시스템에서 메모리 비용을 줄이며 응답 품질을 유지하는 데 유용하다.
많은 샷의 프롬프트를 포함하는 few-/many-shot 추론 작업에서 입력 예제의 세부 구조를 보존하면서 GPU 메모리 절감을 통해 배치 처리량을 개선하는 용도로 적합하다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

KV cache(키-값 캐시)semantic span(시맨틱 스팬)truncated SVD(저계수 SVD)token surprisal(토큰 서프라이절)zoom-in mechanism(줌인 메커니즘)GPU–CPU memory hierarchy(GPU–CPU 메모리 계층)

용어 해설

키-값 캐시(KV Cache): — Transformer 계열 모델에서 디코딩 중에 각 토큰의 key·value 벡터를 저장해 다음 토큰 예측에 재사용하는 구조로, 컨텍스트 길이에 따라 메모리 사용량이 선형으로 증가해 장문 입력 처리에서 병목이 된다.
시맨틱 스팬(Semantic Span): — 문맥을 의미적으로 일관된 구간으로 분할한 단위로, 토큰 서프라이절(확률 기반 경계)로 경계가 정해지면 정보 밀도가 높은 구간을 더 촘촘히 보존하고 낮은 밀도 구간은 더 공격적으로 압축할 수 있다.
저계수 SVD(Low-rank SVD): — 스팬 내 토큰 키·값 행렬에 대해 특이값 분해를 수행한 뒤 소수 성분만 보존하여 토큰 수준의 구조를 압축하는 방식으로, CPU에 보관된 저계수 인수분해로부터 필요한 성분만 GPU로 전송해 재구성한다.
토큰 서프라이절(Token Surprisal): — prefill 단계에서 모델이 계산하는 각 토큰의 음의 로그 확률로, 높은 값이 주제 변화나 엔티티 도입처럼 의미적 경계를 나타내는 지표로 활용되어 스팬 분할 기준으로 사용된다.
줌인 메커니즘(Zoom-In Mechanism): — 디코딩 시점에 쿼리와 스팬 요약 벡터 간 라우팅 점수로 관련 스팬을 선택하고 CPU에 저장된 저계수 성분을 비동기 전송해 선택된 스팬을 토큰 수준으로 재구성하는 동적 확장 정책이다.

SeKV: 계층적 시맨틱 메모리를 통한 해상도 적응형 KV 캐시로 장문 컨텍스트 LLM 추론 효율화

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

KV cache를 검색 가능한 벡터 공간으로 라우팅

무작위 선택으로 KV 캐시 축출 비용 줄이기

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

KV cache를 검색 가능한 벡터 공간으로 라우팅

무작위 선택으로 KV 캐시 축출 비용 줄이기