구글의 새로운 LLM 압축 알고리즘, TurboQuant 출시

섹션별 상세

LLM 추론 시 긴 문맥을 처리할 때 발생하는 KV 캐시 메모리 부족 문제를 해결하기 위해 새로운 양자화 알고리즘인 TurboQuant가 개발됐다. TurboQuant는 데이터를 낮은 비트(1-bit, 2-bit, 4-bit 등)로 변환하여 저장 공간을 획기적으로 줄이는 방식을 취한다. 실제 벤치마크 결과 KV 캐시 메모리를 6배 이상 압축하면서도 모델의 응답 정확도를 유지하는 성능을 보였다. 이는 고비용의 GPU 메모리 자원을 효율적으로 사용하여 더 긴 문맥을 처리할 수 있게 한다.

MLX 프레임워크에서 TurboQuant를 구현한 실험 결과를 공유하는 트윗 캡처이다. — ScreenshotQwen 3.5 모델을 사용하여 64.2K 컨텍스트 길이에서도 정확도 손실 없이 KV 캐시를 최대 4.9배 압축했음을 보여준다. 이는 TurboQuant가 실제 다양한 환경에서 효과적으로 작동함을 입증하는 사례이다.

Llama-3.1-8B 모델을 대상으로 한 LongBench 벤치마크 결과 비교 차트이다. — ChartTurboQuant가 2.5-bit 및 3.5-bit 설정에서 풀 캐시(Full Cache)와 대등한 성능을 유지함을 보여준다. 특히 KIVI나 PolarQuant 같은 다른 압축 기법들과 비교했을 때 더 높은 압축률에서도 우수한 정확도를 기록했다.

메모리 압축뿐만 아니라 연산 속도 최적화를 통해 추론 지연 시간을 대폭 단축했다. TurboQuant는 양자화된 데이터 상태에서도 효율적인 연산이 가능하도록 설계되어 기존 방식 대비 최대 8배의 속도 향상을 달성했다. 특히 시퀀스 길이가 길어질수록 속도 향상 폭이 커지는 특성을 보여 1M 이상의 초장문 컨텍스트 처리에 최적화되어 있다. 이는 실시간 대화형 AI 서비스의 응답성을 크게 개선할 수 있는 기술적 토대를 제공한다.

시퀀스 길이에 따른 TurboQuant의 추론 속도 향상 비율을 나타내는 막대 그래프이다. — Chart1-bit 양자화 시 1M 시퀀스에서 최대 13배 이상의 속도 개선이 가능함을 보여준다. 비트 수가 낮아질수록, 그리고 문맥이 길어질수록 성능 이득이 극대화되는 경향을 확인할 수 있다.

TurboQuant는 LLM의 KV 캐시뿐만 아니라 벡터 검색 엔진의 데이터 압축에도 적용 가능한 범용성을 갖추고 있다. Glove 데이터셋 등을 활용한 검색 성능 테스트에서 기존의 최신 양자화 기법(PQ, RabbitQ 등)보다 높은 재현율(Recall)을 기록하며 우수성을 입증했다. 이를 통해 대규모 벡터 데이터베이스의 운영 비용을 절감하고 검색 속도를 높이는 데 기여할 수 있다. 구글 리서치의 기술력을 바탕으로 이론적 근거와 실전 성능을 모두 확보한 도구이다.

Glove 데이터셋에서 다양한 양자화 기법들의 검색 재현율 성능을 비교한 그래프이다. — ChartTurboQuant가 PQ나 RabbitQ 같은 기존 최신 기법들보다 더 높은 재현율을 달성했음을 보여준다. 이는 LLM 압축뿐만 아니라 효율적인 정보 검색 시스템 구축에도 TurboQuant가 우수한 솔루션임을 의미한다.

용어 해설

양자화(Quantization): — 모델의 가중치나 활성화 값을 더 적은 비트 수로 표현하여 메모리 사용량을 줄이고 연산 속도를 높이는 기법이다. TurboQuant는 이를 통해 KV 캐시를 압축한다.
키-값 캐시(KV Cache): — LLM 추론 시 이전 토큰들의 계산 결과를 저장해두는 메모리 영역이다. 문맥이 길어질수록 급격히 커져 메모리 부족의 원인이 된다.
재현율(Recall): — 검색 시스템에서 전체 정답 중 실제로 찾아낸 정답의 비율을 나타내는 지표이다. TurboQuant는 압축 후에도 높은 재현율을 유지한다.
니들 인 어 헤이스택(Needle-in-a-Haystack): — 방대한 텍스트 데이터 속에서 특정 정보를 얼마나 정확하게 찾아내는지 측정하는 테스트이다. 긴 문맥 처리 능력을 평가하는 핵심 지표이다.

기술

TurboQuant
KV Cache
JAX
MLX
Llama 3.1

활용 사례

LLM 추론 최적화
긴 문맥 처리 챗봇
벡터 검색 엔진 압축