SeKV: 계층적 시맨틱 메모리를 통한 해상도 적응형 KV 캐시로 장문 컨텍스트 LLM 추론 효율화

장문 컨텍스트 처리에서 KV 캐시가 디코딩 메모리 병목을 일으켜 실제 배포 환경에서 전체 컨텍스트를 GPU에 상주시키기 어렵다. SeKV는 컨텍스트를 의미적 스팬 단위로 계층화하고 요약벡터는 GPU에, 토큰 구조의 저계수 SVD는 CPU에 저장해 필요한 스팬만 동적으로 재구성함으로써 메모리와 정확도 사이의 상충을 줄였다. 이 결과는 대규모 모델을 실용적 비용과 지연으로 장문 추론에 적용할 수 있는 실무적 경로를 제시했다.

Transformer의 self-attention은 쿼리와 모든 과거 토큰의 key·value를 비교하므로 KV 캐시 크기가 시퀀스 길이에 따라 선형으로 증가하고 디코딩 내내 유지돼야 한다. 이로 인해 128K 같은 초장문에서는 전체 KV를 GPU에 상주시키는 것이 현실적으로 어려워지며, 기존의 토큰 제거나 정적 압축은 나중에 중요한 증거를 잃게 만드는 단점이 있다.

이 논문의 해결 방향은 컨텍스트를 의미 단위로 계층화하고 각 단위를 두 수준으로 표현하는 것이다. 우선 prefilling에서 계산되는 토큰 서프라이절을 이용해 의미적 경계(스팬)를 감지하고, 각 스팬은 GPU에 경량 요약벡터와 일부 앵커 토큰을 유지하며 CPU에는 스팬의 키·값 행렬에 대한 저계수 SVD 인수분해를 저장한다. 디코딩 시에는 쿼리를 요약 공간으로 투영해 관련 스팬을 라우팅하고, 선택된 스팬만 CPU에서 저계수 성분을 비동기 전송해 토큰 수준으로 재구성한다.

이 접근은 '정보를 영구 삭제하지 않으면서' GPU 메모리를 크게 줄이는 동적 해상도 배분을 가능하게 한다. 요약벡터는 효율적인 라우팅을 제공하고 저계수 SVD는 필요한 경우에 한해 토큰 수준 기여를 거의 원본에 가깝게 복원하므로, 정적 압축보다 검색 민감한 작업에서 성능 손실이 적게 나타난다.

시스템 전체 흐름은 세 단계로 구성된다. 먼저 prefilling 단계에서 모델이 토큰 서프라이절 H_t = -log p(x_t | x_{<t})를 계산해 μ+ασ를 초과하는 위치를 스팬 경계로 선택하고 경계 토큰을 앵커로 고정한다. 두 번째로 각 스팬에 대해 GPU에는 서프라이절 가중 평균으로 투영한 저차원 요약키와 요약 키·값 평균을 저장하고, CPU에는 각 레이어·헤드별 키·값 행렬의 트렁케이티드 SVD(UΣVᵀ)를 계산해 보관한다.

디코딩 단계는 라우팅(Stage 1)과 재구성(Stage 2)의 파이프라인으로 동작한다. 라우팅에서는 쿼리 q^{(l,h)}를 라우팅 투영 W^{(l,h)}으로 변환해 각 스팬의 요약키와 내적을 취한 뒤 시그모이드로 relevance 확률 α_S^{(l,h)}를 얻어 per-head·per-layer 임계값 τ^{(l,h)}와 비교해 확장 여부 z_S^{(l,h)}를 결정한다. 확장된 스팬에 대해 비동기으로 CPU에서 U, Σ, V 요인들을 전송받아 gated한 구성요소 m_{S,i}^{(l,h)}를 적용한 뒤 Eq. 8로 토큰 수준 키·값을 재구성한다.

라벨·손실 설계는 네 항을 조합해 학습 안정성과 메모리 제약을 동시에 유도했다. 교사-학생 증류 손실 D_{KL}(p_{full} || p_{SeKV})가 전체 예측을 정렬하고, 줌 손실은 교사 주의 질량을 기준으로 스팬별 양성 타깃을 만들어 routing 확률을 학습시킨다. 재구성 손실은 SVD 특이값과 게이트 m의 곱으로 근사 오차를 측정하고, 예산 손실은 확장 수와 유지되는 유효 랭크 합에 비용을 부과해 전체 예산 내에서 해상도 분배를 학습하게 했다.

구현상 세부 조치로는 랜덤화된 트렁케이티드 SVD로 prefilling 비용을 병렬화해 전처리 부담을 완화했고, 앵커 토큰과 매우 짧은 스팬은 GPU에 그대로 유지해 전송 오버헤드를 피했다. 학습은 기본 LLM을 동결한 채 라우팅 투영, 임계값, 공통 rank-gate predictor g_ϕ만 학습했고 전체 추가 파라미터는 약 4.3M으로 모델 대비 0.05% 수준이었다.

광범위한 벤치마크 평가에서 SeKV는 같은 GPU 예산(예: 10% KV)에 대해 모든 비교군 가운데 최고 성능을 기록했다. 네 개 장문 벤치마크(LongBench, RULER, InfiniteBench, NIAH)와 many-shot GSM8K에서 압축된 캐시 가운데 평균적으로 SentenceKV 대비 +5.9%의 성능 우위를 보였고, 특히 검색 중심 과제(NIAH, RULER)에서 큰 향상을 나타냈다. 이는 동적 줌인이 스팬 외의 중요한 단일 증거를 회복하는 데 결정적임을 시사한다.

메모리·성능 트레이드오프 분석에서 SeKV는 Full KV 대비 GPU 메모리를 크게 줄이면서도 성능 격차를 좁혔다. 128K 컨텍스트에서 GPU 메모리 사용은 FullKV의 약 74.8GB에서 SeKV는 약 34.9GB로 감소해 53.3% 절감이 관찰되었고, 지연과 처리량 측정에서는 FullKV보다 낮은 지연과 높은 처리량을 유지했다. 실험 표는 동일 예산 조건에서 SeKV가 정확도와 효율성 사이에서 우수한 균형을 달성했음을 보여준다.

행동 분석과 소거(ablation)에서 줌인 결정은 소수의 헤드와 중후반 레이어에 집중되는 특성이 확인되었고, 이는 per-head·per-layer 임계값 설계의 타당성을 뒷받침했다. Needle-in-a-Haystack 실험의 히트맵에서 SeKV는 깊은 위치와 긴 문맥에서도 안정적으로 니들을 회수하는 반면, 토큰 축출 기반 방법들은 길이나 깊이에 따라 실패 구역이 넓게 퍼졌다. 추가 민감도 실험은 요약 차원 d', 최대 SVD 랭크 R, 서프라이절 민감도 α 등 하이퍼파라미터에 따른 성능 변화 경향을 보고했다.

전체 아키텍처는 스팬 분할, 이중 해상도 표현, 학습 기반 라우팅의 세 축으로 구성된다. 스팬 분할은 prefilling에서 계산되는 토큰 서프라이절을 사용해 μ+ασ 기준으로 경계를 정하고, 각 스팬에 대해 앵커 토큰과 요약벡터를 GPU에 유지하며 SVD 요인을 CPU에 저장한다. 요약벡터는 각 레이어·헤드별 W^{(l,h)} 투영을 통해 d' 차원으로 축소되어 라우팅 효율을 보장한다.

저계수 표현은 각 스팬의 키·값 행렬에 대해 트렁크된 SVD를 계산하고, 성분별 soft gate m_{S,i}^{(l,h)}를 학습해 유효 랭크를 스팬별로 할당한다. 게이트는 특이값 스펙트럼과 스팬 요약키를 입력으로 하는 g_ϕ로 예측되며, 저장·전송 시 컴포넌트가 드롭되어 전송량이 줄어든다. 재구성 수식은 K̂_S^{(l,h)} = Σ_i m_{S,i} σ_{S,i} u_{S,i} v_{S,i}^⊤로 주어지고, 이 과정에서 특이값과 벡터는 frozen key·value에서 고정된 상수로 처리되어 SVD 역전파의 불안정을 피했다.

라우팅은 쿼리-요약 내적을 시그모이드로 변환해 독립적 확률을 얻고 per-head 임계값 τ^{(l,h)}로 이진 확장 신호를 생성한다. 학습은 증류 손실, 줌 BCE 손실, 재구성 오차(특이값 기반) 및 예산 페널티를 합한 목적함수로 수행되며 straight-through estimator로 이진 z_S 결정을 미분 가능하게 연결했다. 예산 초과 시 α̃_S 순으로 스팬을 내림차순 선택해 GPU 예산을 만족시키는 작업 흐름을 유지한다.

구현 세부로는 d' = 32, 최대 SVD 랭크 R_max = 32, 서프라이절 민감도 α = 1.0, 줌 초기 임계값 τ = 0.05, 재구성 가중치 λ_2 = 0.5 등을 사용했고 학습은 RedPajama 장문 코퍼스를 활용해 약 0.5B 토큰 규모로 경량 모듈을 훈련했다. 랜덤화된 트렁케이티드 SVD와 비동기 CPU→GPU 전송 파이프라이닝을 통해 prefilling 비용과 런타임 전송 대역폭을 현실적으로 관리했다.

논문에서 명시한 첫 번째 한계는 스팬 분할 품질에 민감하다는 점이다. 서프라이절 기반 경계가 노이즈가 심하거나 표 형식·코드처럼 전형적 언어 구조와 다른 문서에서는 부적절한 분할로 메모리 할당이 비효율적일 수 있다. 두 번째 한계는 설계상 사용자가 제어해야 할 하이퍼파라미터가 여러 개 존재해 새로운 모델이나 극단적 문맥 길이로 이전할 때 검증이 필요하다는 점이다.

세 번째 한계는 CPU–GPU 대역폭 의존성으로, 전송 대역폭이 낮거나 적대적 쿼리 패턴에서 반복적으로 많은 스팬을 활성화하면 지연 이점이 감소할 수 있다. 네 번째 한계는 기본 LLM을 동결한 채 경량 라우팅만 학습하기 때문에 라우팅 모듈과 스팬 표현을 공동으로 훈련하는 방식에 비해 모델 내부의 주의 패턴을 완전히 적응시키는 능력이 제한될 수 있다는 점이다.