IndexCache: 계층 간 인덱스 재사용을 통한 희소 어텐션 가속화

긴 문맥의 에이전트 워크플로우(Long-context agentic workflows)가 대형 언어 모델(LLM)의 결정적인 사용 사례로 부상함에 따라, 추론 속도와 서비스 비용 모두에서 어텐션 효율성(attention efficiency)이 매우 중요해졌습니다. 희소 어텐션(Sparse attention)은 이 과제를 효과적으로 해결하며, 딥시크 희소 어텐션(DeepSeek Sparse Attention, DSA)은 대표적인 상용 수준의 솔루션입니다. 이는 가벼운 번개 인덱서(lightning indexer)가 쿼리당 가장 관련성이 높은 상위 k개 토큰(top-k tokens)을 선택하여 핵심 어텐션 복잡도를 O(L^2)에서 O(Lk)로 줄입니다. 그러나 인덱서 자체는 여전히 O(L^2) 복잡도를 유지하며, 연속된 계층에서 결과적인 상위 k개 선택이 매우 유사함에도 불구하고 모든 계층에서 독립적으로 실행되어야 합니다. 본 논문에서는 이러한 계층 간 중복성(cross-layer redundancy)을 활용하는 IndexCache를 제안합니다. IndexCache는 계층을 자체 인덱서를 실행하는 소수의 전체 계층(Full layers)과 가장 가까운 전체 계층의 상위 k개 인덱스를 단순히 재사용하는 다수의 공유 계층(Shared layers)으로 분할합니다. 우리는 이 구성을 결정하고 최적화하기 위한 두 가지 상호 보완적인 접근 방식을 제안합니다. 훈련이 필요 없는(Training-free) IndexCache는 가중치 업데이트 없이 보정 데이터셋(calibration set)에서 언어 모델링 손실(language modeling loss)을 직접 최소화하여 인덱서를 유지할 계층을 선택하는 탐욕적 검색 알고리즘(greedy search algorithm)을 적용합니다. 훈련 기반(Training-aware) IndexCache는 유지된 각 인덱서가 서비스하는 모든 계층의 평균 어텐션 분포에 대해 학습하도록 하는 다계층 증류 손실(multi-layer distillation loss)을 도입하여, 단순한 인터리브 패턴(interleaved patterns)으로도 전체 인덱서의 정확도와 일치할 수 있게 합니다. 30B DSA 모델에 대한 실험 결과, IndexCache는 품질 저하를 거의 무시할 수 있는 수준으로 유지하면서 인덱서 계산의 75%를 제거할 수 있었으며, 표준 DSA 대비 최대 1.82배의 프리필(prefill) 가속과 1.48배의 디코딩(decode) 가속을 달성했습니다. 이러한 긍정적인 결과는 상용 규모의 GLM-5 모델에 대한 예비 실험을 통해 더욱 확인되었습니다.