MIT 연구진, LLM 메모리 병목 해결을 위한 50배 KV 캐시 압축 기술 'Attention Matching' 공개

섹션별 상세

KV 캐시는 LLM이 이전 토큰의 정보를 저장하는 작업 메모리로, 대화가 길어질수록 기하급수적으로 증가하여 하드웨어 자원을 고갈시킨다. 기존의 토큰 삭제나 요약 방식은 정보 손실이 크고, 'Cartridges'와 같은 고정밀 압축 방식은 GPU 연산 시간이 너무 오래 걸려 실시간 적용이 불가능했다.

KV 캐시 최적화의 필요성과 병목 현상을 설명하는 다이어그램이다. — Diagram긴 문맥 처리 시 KV 캐시가 메모리 점유율의 대부분을 차지하게 되는 병목 현상을 시각화하여 보여준다. 최적화 기법이 이 병목을 어떻게 완화할 수 있는지에 대한 개념적 배경을 제공한다.

Attention Matching은 모델이 메모리에서 정보를 추출하는 '어텐션 출력'과 각 토큰의 상대적 가중치인 '어텐션 질량'을 보존하는 데 집중한다. 시스템은 '참조 쿼리'를 생성하여 압축된 메모리가 원래의 메모리와 동일하게 반응하도록 설계되었으며, 이를 통해 새로운 입력이 추가되어도 모델의 행동이 변하지 않도록 보장한다.

Attention Matching 기술의 작동 원리를 보여주는 아키텍처 도식이다. — Diagram참조 쿼리를 사용하여 원본 KV 캐시의 어텐션 출력과 질량을 압축된 캐시에서 어떻게 일치시키는지 설명한다. 대수적 최적화 과정이 모델의 행동을 보존하는 핵심 메커니즘임을 나타낸다.

이 기술은 경사 하강법 기반의 최적화 대신 최소자승법(Ordinary Least Squares)과 같은 단순 대수학 기법을 사용하여 압축 속도를 획기적으로 높였다. 기존 방식이 한 문맥을 압축하는 데 수 시간이 걸렸던 것과 달리, Attention Matching은 단 몇 초 만에 50배 압축을 완료하면서도 Llama 3.1 및 Qwen-3 모델에서 높은 정확도를 유지했다.

의료 데이터셋인 LongHealth 테스트 결과, 표준 텍스트 요약 방식은 정확도가 급격히 하락한 반면 Attention Matching은 우수한 성능을 보였다. 또한 수학 추론 테스트(AIME)에서 메모리 한계에 도달할 때마다 실시간으로 메모리를 50%씩 압축하는 '온라인 압축'을 수행했음에도 무제한 메모리를 사용한 모델과 대등한 결과를 도출했다.

Qwen-3 모델에서 Attention Matching을 적용했을 때의 성능 벤치마크 차트이다. — Chart압축률이 높아짐에 따라 다른 기법들과 비교했을 때 Attention Matching이 정확도를 얼마나 잘 유지하는지 수치로 보여준다. 50배 압축 시에도 성능 저하가 거의 없음을 입증하는 실험 결과이다.

Attention Matching은 모델 가중치에 직접 접근해야 하므로 폐쇄형 API보다는 오픈 웨이트 모델을 사용하는 기업 환경에 적합하다. 연구진은 이 기술이 추론 엔진의 모델 계층에 통합되어 문서 입력 직후나 도구 호출 출력 시점에 자동으로 메모리를 압축하는 방식으로 활용될 것으로 전망한다.

용어 해설

키-값 캐시(KV Cache): — LLM이 이전 토큰의 연산 결과를 저장해두는 작업 메모리 공간이다. 문맥이 길어질수록 메모리 점유율이 급증하여 추론 속도를 늦추고 하드웨어 비용을 높이는 주요 병목 현상의 원인이 된다.
어텐션 메커니즘(Attention Mechanism): — 입력 데이터 내 토큰 간의 상관관계를 계산하여 중요한 정보에 집중하는 Transformer 모델의 핵심 구조이다. Attention Matching 기술은 이 메커니즘의 출력값과 가중치를 보존하여 압축 후에도 모델의 행동을 유지한다.
최소자승법(Least Squares): — 데이터들 사이의 오차 제곱합을 최소화하여 최적의 해를 찾는 수학적 최적화 기법이다. 본 연구에서는 복잡한 딥러닝 학습 대신 이 대수적 기법을 사용하여 KV 캐시 압축 속도를 획기적으로 단축했다.
컨텍스트 윈도우(Context Window): — 모델이 한 번에 처리할 수 있는 텍스트의 최대 길이를 의미한다. 컨텍스트 윈도우가 커질수록 더 많은 정보를 참조할 수 있지만, 그에 비례해 필요한 메모리 자원도 기하급수적으로 늘어난다.

기술

Llama 3.1
Qwen-3
Least Squares Optimization
Python

활용 사례

대규모 의료 기록 분석
복잡한 법률 계약서 검토
실시간 수학적 추론 에이전트
장기 대화 챗봇

섹션별 상세

용어 해설

키-값 캐시(KV Cache): — LLM이 이전 토큰의 연산 결과를 저장해두는 작업 메모리 공간이다. 문맥이 길어질수록 메모리 점유율이 급증하여 추론 속도를 늦추고 하드웨어 비용을 높이는 주요 병목 현상의 원인이 된다.
어텐션 메커니즘(Attention Mechanism): — 입력 데이터 내 토큰 간의 상관관계를 계산하여 중요한 정보에 집중하는 Transformer 모델의 핵심 구조이다. Attention Matching 기술은 이 메커니즘의 출력값과 가중치를 보존하여 압축 후에도 모델의 행동을 유지한다.
최소자승법(Least Squares): — 데이터들 사이의 오차 제곱합을 최소화하여 최적의 해를 찾는 수학적 최적화 기법이다. 본 연구에서는 복잡한 딥러닝 학습 대신 이 대수적 기법을 사용하여 KV 캐시 압축 속도를 획기적으로 단축했다.
컨텍스트 윈도우(Context Window): — 모델이 한 번에 처리할 수 있는 텍스트의 최대 길이를 의미한다. 컨텍스트 윈도우가 커질수록 더 많은 정보를 참조할 수 있지만, 그에 비례해 필요한 메모리 자원도 기하급수적으로 늘어난다.

기술

Llama 3.1
Qwen-3
Least Squares Optimization
Python

활용 사례

대규모 의료 기록 분석
복잡한 법률 계약서 검토
실시간 수학적 추론 에이전트
장기 대화 챗봇

MIT 연구진, LLM 메모리 병목 해결을 위한 50배 KV 캐시 압축 기술 'Attention Matching' 공개

섹션별 상세

용어 해설

기술

활용 사례

MIT 연구진, LLM 메모리 병목 해결을 위한 50배 KV 캐시 압축 기술 'Attention Matching' 공개

섹션별 상세

용어 해설

기술

활용 사례

관련 토론

댓글

관련 기사

A100‑80GB 한 대로 128K 컨텍스트 동시 처리 실험과 KV 캐시 압축 성능

Group Query Attention(GQA)의 작동 원리와 설계 의도

LLM 대화가 길어질수록 느려지는 이유: KV Cache의 비밀

관련 토론

댓글

관련 기사

A100‑80GB 한 대로 128K 컨텍스트 동시 처리 실험과 KV 캐시 압축 성능

Group Query Attention(GQA)의 작동 원리와 설계 의도

LLM 대화가 길어질수록 느려지는 이유: KV Cache의 비밀