KronQ: 그래디언트 공분산과 Kronecker-팩터화 헤시안 근사를 통합한 사후 학습 양자화

왜 중요한가

사후 학습 양자화는 대형 언어 모델을 재학습 없이 압축하는 현실적인 방법으로 널리 채택되어 있다. 기존의 두 번째 차수 기반 PTQ 방법들은 활성화 통계만을 기준으로 계층별 재구성 손실을 구성해 출력 채널별 민감도 차이를 무시하는 경향이 있었다. KronQ는 그래디언트 공분산을 양자화 파이프라인에 통합해 출력 차원 쪽 민감도를 반영함으로써 특히 극저비트 설정에서 기존 방법들이 발산하거나 열등한 결과를 보이는 상황에서도 성능을 보존했다.

핵심 기여

그래디언트 공분산을 양자화 손실에 통합한 프레임워크

Kronecker-팩터화 헤시안 근사를 통해 활성화와 그래디언트 공분산을 결합한 양자화 손실을 도출했다. 이 결합은 출력 차원에서의 민감도를 반영해 계층 재구성 목표가 입력 측 통계에만 의존하는 기존 가정을 완화했다. 결과적으로 출력과 입력 양쪽 차원에서 가중치 분산을 줄여 극저비트 설정의 안정성을 개선했다.

양방향 비동조 처리로 가중치 분산 감소

입력 측 랜덤 회전에 더해 그래디언트 공분산을 이용해 출력 차원에도 유사한 회전 처리를 적용했다. 이 과정은 입력과 출력 차원 모두에서 가중치 크기 분포의 편차를 줄여 양자화 오류를 완화했다. 처리 결과는 낮은 비트폭에서도 양자화가 더 안정적으로 수렴하는 기반을 제공했다.

그래디언트 및 활성화 헤시안 트레이스 기반의 혼합 정밀도 민감도 지표 제시

계층 간 혼합 정밀도 할당을 위해 그래디언트와 활성화 헤시안의 트레이스 정보를 결합한 새로운 민감도 지표를 유도했다. 이 지표는 각 계층이 양자화에 얼마나 민감한지를 정량화해 비트폭을 효율적으로 배분하도록 설계되었다. 실험에서는 이 지표가 리소스 제약 하에서 성능과 압축률을 균형시키는 데 유효함이 확인됐다.

핵심 아이디어 이해하기

대형 언어 모델의 계층별 양자화는 입력 활성화 통계만으로 계층 손실을 구성하는 관행이 일반적이다. 이 경우 출력 채널마다 손실에 기여하는 정도가 동일하다고 가정하게 되어 실제로는 출력 쪽 민감도가 큰 채널에 과도한 양자화 오류가 발생할 수 있다. 특히 2비트와 같은 극저비트에서는 이러한 가정이 모델 성능의 급격한 열화를 초래한다. KronQ의 핵심은 손실 구성을 활성화 통계뿐 아니라 그래디언트 공분산까지 확장해 계층 손실이 입력과 출력의 공분산 정보를 동시에 반영하도록 만드는 것이다. Kronecker-팩터화 헤시안 근사는 헤시안의 거대한 행렬을 입력과 출력 쌍의 크로네커 곱 형태로 근사해 계산 비용을 억제한다. 이 근사를 통해 활성화와 그래디언트의 통계가 결합된 손실 항을 실용적인 비용으로 얻을 수 있으며, 출력 차원에서의 민감도 차이를 정량적으로 반영할 수 있다. 이 접근은 두 가지 실질적 효과를 낳는다. 첫째, 입력과 출력 양쪽에서 가중치의 크기 분산이 줄어들어 균일한 양자화 스텝으로도 오류가 감소한다. 둘째, 그래디언트 기반 민감도 지표를 통해 혼합 정밀도 할당이 데이터 기반으로 이루어져 리소스를 더 효율적으로 사용하게 된다. 이러한 변화는 극저비트 설정에서 기존 방법들이 발산하거나 매우 높은 perplexity를 보일 때도 모델 성능을 유지하도록 만든다.

방법론

전체 접근은 Kronecker-팩터화 헤시안 근사 하에서 양자화 손실을 재정의하는 것이다. 기존 두 번째 차수 PTQ는 입력 활성화 공분산만을 사용해 계층별 재구성 항을 구성했으나 KronQ는 그래디언트 공분산을 추가해 손실이 활성화와 그래디언트 통계의 곱으로 표현되도록 했다. 이 손실식은 각 가중치 블록이 출력과 입력 쌍에 대해 가지는 민감도를 반영한다. 핵심 메커니즘으로는 양방향 비동조 처리가 있다. 입력 측의 랜덤 회전과 대응되게 출력 차원도 그래디언트 공분산을 이용해 회전 및 정규화를 수행함으로써 가중치 분포의 편차를 양쪽 차원에서 동시에 줄였다. 이 과정은 양자화 대상 행렬의 스펙트럼과 크기 분포를 안정화해 낮은 비트폭에서도 양자화 오류를 억제한다. 혼합 정밀도 할당을 위해서는 그래디언트 및 활성화 헤시안의 트레이스를 결합한 민감도 지표를 도출했다. 이 지표는 각 계층의 양자화로 인한 손실 증가량을 근사해 주어진 비트 예산 하에서 비트폭을 효율적으로 배분하도록 설계되었다. 계층별 비트 할당은 이 지표를 기준으로 우선순위를 매겨 진행되며 실험적으로 전반적인 성능을 개선하는 것으로 확인됐다.

주요 결과

주요 결과로서 2비트 가중치 전용 양자화 설정에서 LLaMA-3-70B를 대상에 두었을 때 GPTQ와 GPTAQ는 WikiText-2에서 발산하거나 2000을 초과하는 perplexity를 보였으나 KronQ는 7.93 perplexity를 달성했다. 이 수치는 동일 조건에서 KronQ가 극저비트 환경에서도 의미 있는 언어 모델 성능을 유지함을 직접적으로 보여준다. 논문은 이 결과를 통해 그래디언트 정보의 통합이 안정성과 성능 유지에 결정적임을 입증했다. 추가적인 비교실험과 절제 연구에서 양방향 비동조 처리와 민감도 기반 혼합 정밀도 할당이 각각 성능 개선에 유의미한 기여를 하는 것으로 확인됐다. 절제 실험에서는 출력 측 회전 처리를 제거하면 저비트 환경에서 성능 저하가 커지는 경향이 관찰되었다. 이는 출력 쪽 통계가 양자화 민감도에 실질적으로 영향을 준다는 근거가 된다. 효율성 관점에서 KronQ의 계산 오버헤드는 Kronecker 근사를 활용해 실용적인 범위로 억제되었다. 논문은 대규모 모델에 적용 가능한 수준의 추가 연산과 메모리 요구로 설계되었음을 보고했다. 실제 배포 가능성은 실험 설정과 하드웨어 제약에 따라 달라질 수 있으나 극저비트에서의 성능 보존이 주요 성공 지표로 제시되었다.

기술 상세

전체 아키텍처는 각 계층의 가중치 블록을 대상으로 활성화 공분산과 그래디언트 공분산을 결합한 손실을 최소화하도록 설계되었다. Kronecker-팩터화 헤시안 근사는 계층별 헤시안을 입력 공분산과 출력 공분산의 크로네커 곱으로 분해해 큰 행렬을 효율적으로 처리할 수 있게 만든다. 이 근사로 인해 두 통계의 결합 항을 계산하는 비용이 실용적으로 유지된다. 출력 차원에 대한 랜덤 회전과 정규화는 그래디언트 공분산의 고유구조를 이용해 수행된다. 회전은 가중치 행렬의 스펙트럼을 평탄화하고 분포의 치우침을 줄여 균일 양자화 스텝으로도 오류를 줄일 수 있게 설계되었다. 이 과정은 입력 측 회전과 대칭적으로 동작해 양방향에서 분산을 감소시킨다. 혼합 정밀도 민감도는 그래디언트 헤시안 트레이스와 활성화 헤시안 트레이스를 결합한 형태로 도출되었다. 수식적으로는 계층별 재구성 손실의 2차 근사를 통해 파라미터 블록의 기여도를 근사하고 이 값의 크기를 기준으로 비트 예산을 분배한다. 계층별 할당은 제한된 총 비트 예산을 만족하도록 정수 비트폭으로 반올림하는 단계가 포함되며, 논문은 이 절차의 실험적 유효성을 보고했다. 구현 및 학습 세부사항으로는 Kronecker 근사 추정을 위한 미니배치 통계 계산과 회전 변환의 수치적 안정성 확보가 포함된다. 실험은 다양한 비트폭 조합과 데이터셋에서 수행되었으며 극저비트 설정에서는 특히 그래디언트 정보 통합의 효과가 컸다. 코드 저장소에는 핵심 변환과 민감도 계산이 포함되어 있어 재현성이 확보되어 있다.

실무 활용

KronQ는 재학습 없이 모델을 압축하려는 실무 환경에서 적용 가능성이 높다. 그래디언트 공분산을 활용하므로 데이터 기반의 민감도 정보를 사용해 혼합 정밀도 전략을 세울 수 있다. 공개된 구현체가 있어 실험적 도입과 현업 테스트가 모두 가능한 상태이다.

대형 언어 모델을 재학습 없이 배포 가능한 저장 공간과 메모리 제약 환경에 맞춰 2비트 또는 혼합 비트폭으로 압축하는 경우에 적용할 수 있다.
서빙 비용을 낮추기 위해 모델 파라미터를 극저비트로 줄이면서도 언어 이해 성능을 일정 수준 유지해야 하는 챗봇이나 검색 랭킹 시스템의 경량화에 활용할 수 있다.
모델 압축 실험에서 계층별 민감도를 정량적으로 평가해 비트폭 할당을 자동화하는 파이프라인의 일부로 통합할 수 있다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

Post-Training Quantization(사후 학습 양자화)Kronecker-factored Hessian(크로네커 팩터화 헤시안)Gradient Covariance(그래디언트 공분산)Mixed-Precision(혼합 정밀도)

용어 해설

사후 학습 양자화(Post-Training Quantization): — 학습을 다시 수행하지 않고 학습된 모델의 가중치와 활성화를 낮은 비트 표현으로 변환해 모델 크기와 연산량을 줄이는 기법이다. 입력 활성화 통계에 기반해 계층별 재구성 손실을 최소화하는 것이 일반적이며 실무에서는 재학습 비용을 줄이면서 배포 효율을 개선할 때 중요하게 사용된다.
크로네커 팩터화 헤시안(Kronecker-factored Hessian): — 모델 파라미터의 2차 도함수 행렬인 헤시안을 입력과 출력 쌍의 크로네커 곱 구조로 근사하는 방법이다. 이 근사는 대규모 모델의 헤시안 정보를 비용 효율적으로 표현해 뉴트럴 네트워크의 민감도 추정과 최적화에 활용된다.
그래디언트 공분산(Gradient Covariance): — 미니배치 또는 데이터 분포에 따른 파라미터별 그래디언트의 공분산 행렬로서, 각 출력 채널이 손실에 기여하는 정도와 상호관계를 포착한다. 양자화 과정에서 이 값을 고려하면 출력 차원별 민감도를 반영한 손실가중화가 가능해진다.
혼합 정밀도 할당(Mixed-Precision Allocation): — 모델의 서로 다른 계층 또는 파라미터 블록에 대해 서로 다른 비트폭을 할당해 전체 효율성과 성능을 균형시키는 전략이다. 민감도가 높은 부분은 높은 비트폭을 유지하고 덜 민감한 부분은 낮은 비트폭을 적용해 리소스를 최적화한다.

KronQ: 그래디언트 공분산과 Kronecker-팩터화 헤시안 근사를 통합한 사후 학습 양자화

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

실제 VRAM에 맞춰 LLM을 양자화하는 shoehorn

LLM 최적화를 위한 양자화 및 가지치기 기법 가이드.

QAH로 4비트 모델 성능 회복

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

관련 토론

댓글

관련 기사

실제 VRAM에 맞춰 LLM을 양자화하는 shoehorn

LLM 최적화를 위한 양자화 및 가지치기 기법 가이드.

QAH로 4비트 모델 성능 회복