NexQuant: 엣지 기기를 위한 3비트 KV-캐시 강화. Tom Turney의 TurboQuant+를 잇는 Rust 기반 후속 프로젝트

작성자가 피드백을 요청하며 공개한 프로젝트로, 저사양 하드웨어 사용자들로부터 긍정적인 관심을 받고 있다.

• NexQuant를 사용하면 14B 모델을 4GB VRAM 환경에서 실행할 수 있다.
• Vulkan SPIR-V 커널에 대한 피드백을 통해 성능 최적화에 기여할 수 있다.

KV-캐시(KV-Cache)

— LLM이 이전 토큰의 정보를 저장하는 메모리 영역이다. 추론 시 중복 계산을 방지하여 속도를 높이지만, 문맥이 길어질수록 메모리 점유율이 급증하는 문제가 있다. 이를 압축하는 것은 저사양 기기 구동의 핵심이다.

양자화(Quantization)

— 모델의 가중치나 활성값을 낮은 비트(예: 16비트에서 3비트)로 표현하는 기법이다. 메모리 사용량과 연산량을 획기적으로 줄일 수 있으나, 정밀도 저하로 인한 성능 손실을 최소화하는 것이 기술적 난제이다.

평균 제곱 오차(MSE)

— Mean Squared Error의 약자로, 예측값과 실제값 차이의 제곱 평균을 구하는 손실 함수이다. 이 아티클에서는 양자화 과정에서 발생하는 노이즈를 줄이고 안정성을 확보하기 위한 최적화 경로로 사용됐다.

희소 V-캐시 최적화(Sparse-V)

— 어텐션 메커니즘에서 중요도가 낮은 값들을 생략하는 최적화 기법이다. NexQuant는 이를 디코드 루프에 통합하여 약 60%의 연산을 건너뜀으로써 추론 효율을 극대화한다.

비디오 램(VRAM)

— 그래픽 카드에 장착된 비디오 전용 메모리이다. LLM 추론 시 모델 가중치와 KV-캐시가 이곳에 적재되므로, VRAM 용량은 실행 가능한 모델의 크기를 결정하는 가장 큰 제약 사항이다.