고급 MXFP4 양자화: 미세 조정된 회전과 SmoothQuant를 결합한 무손실에 가까운 압축

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

대형 언어 모델의 추론 효율을 높이기 위해 MXFP4와 같은 저정밀도 양자화가 도입되고 있으나, 중소형 모델에서는 이상치(outlier)로 인한 정확도 저하가 심각하다. AMD 연구진은 온라인 회전(Online Rotation)과 SmoothQuant 스케일링을 결합하여 채널 간 이상치를 재분배함으로써 이 문제를 해결했다. 특히 블록 대각(Block-diagonal) 구조의 회전 행렬을 사용하여 연산 오버헤드를 최소화하면서도 Qwen3 모델군에서 원본 BF16 대비 98% 이상의 정확도를 달성했다. 이 기법은 AMD Instinct MI350X 및 MI355X 가속기의 하드웨어 기능을 활용하여 실전 배포가 가능한 수준의 성능을 제공한다.

배경

Quantization (PTQ, RTN, GPTQ) 개념, Transformer 아키텍처 (Attention, MLP 레이어 구조), 선형 대수학 (직교 행렬, 행렬 곱셈), AMD Instinct GPU 및 ROCm 환경 지식

대상 독자

LLM 추론 최적화 및 양자화 모델 배포를 담당하는 ML 엔지니어

의미 / 영향

이 기술은 4비트 수준의 공격적인 양자화에서도 모델의 지능을 거의 그대로 유지할 수 있게 함으로써, 추론 비용을 획기적으로 낮추고 동일 하드웨어에서 더 큰 모델을 서빙할 수 있는 길을 열어준다.

섹션별 상세

MXFP4 양자화의 핵심 과제는 OCP MX 그룹(32개 요소) 내에 존재하는 이상치(outlier)가 전체 스케일 팩터에 영향을 주어 나머지 값들의 정밀도를 떨어뜨리는 현상이다. 이상치가 포함된 그룹은 스케일이 커지면서 작은 값들의 정보가 소실되는 문제가 발생한다.

미세 조정된 회전과 SmoothQuant를 결합한 MXFP4 양자화의 개념도 — Infographic이상치가 포함된 데이터를 회전 변환을 통해 고르게 분포시킨 후 양자화하여 정보 손실을 최소화하는 전체 워크플로우를 시각화한다. 중앙의 검은 블록은 양자화된 모델을 상징하며 주변의 회로선은 데이터의 흐름과 변환을 나타낸다.

온라인 회전 기법은 추론 시 활성화 데이터에 직교 변환(Orthogonal Transform)을 적용하여 특정 채널에 집중된 이상치를 여러 채널로 분산시킨다. 이를 통해 OCP MX 그룹 내의 값 범위를 좁히고 양자화 오차를 줄이며, 역변환은 오프라인에서 가중치에 미리 융합(fuse)하여 계산 효율을 높인다.

SmoothQuant와 회전을 결합한 O = DR 변환을 통해 채널 스케일링과 회전을 동시에 최적화한다. Cayley SGD 옵티마이저를 사용하여 Stiefel 다양체 상에서 회전 행렬을 미세 조정함으로써 고정된 Hadamard 회전보다 더 높은 정확도 복구율을 달성한다.

Attention 및 MLP 레이어에서의 회전 및 SmoothQuant 스케일 적용 위치 — DiagramTransformer의 각 레이어(QKV, MLP)에서 온라인 회전(R)과 SmoothQuant 스케일(D)이 어디에 위치하는지 상세히 보여준다. 일부 회전은 가중치에 융합되어 오프라인으로 처리되고, 일부는 추론 시 온라인으로 수행됨을 알 수 있다.

연산 효율성을 위해 전체 행렬 대신 블록 대각(Block-diagonal) 구조의 회전을 적용한다. 32x32 또는 128x128 크기의 작은 블록 단위로 회전을 수행하면 전체 Hidden Dimension에 대한 연산보다 오버헤드가 훨씬 적으며, 이는 대규모 모델의 GEMM 연산량 대비 미미한 수준이다.

온라인 입력 활성화 회전 연산의 구조도 — Diagram입력 활성화 텐서에 블록 대각 행렬 R을 곱하는 과정을 보여준다. rotation_size 단위로 독립적인 회전 블록이 적용되어 연산량을 줄이면서도 로컬 채널 간의 이상치를 재분배하는 메커니즘을 설명한다.

Qwen3-8B, 14B, 32B 모델 테스트 결과, 제안된 기법은 단순 양자화(RTN)나 기존 GPTQ, AutoSmoothQuant 대비 월등한 성능을 보였다. 특히 n-shot 작업에서 정확도 하락분의 45-55%를 복구하며 원본 BF16 모델 성능의 98% 이상을 유지하는 데 성공했다.

Qwen3-8B 모델의 MXFP4 양자화 벤치마크 결과 차트 — Chart단순 양자화(RTN), GPTQ 결합 모델, 그리고 본 논문에서 제안한 회전+SmoothQuant 결합 모델의 성능을 비교한다. 제안된 기법(초록색 바)이 모든 태스크에서 원본 BF16 성능에 가장 근접한 복구율을 보임을 입증한다.

vLLM 서빙 벤치마크 결과, 최적화되지 않은 독립 실행형 커널 구현에서도 전체 토큰 처리량(Throughput) 저하는 관리 가능한 수준으로 나타났다. 향후 동적 양자화 및 GEMM 연산과 회전 연산을 하나로 합친 퓨즈드 커널(Fused Kernel)을 통해 지연 시간을 추가로 단축할 수 있다.

실무 Takeaway

MXFP4와 같은 4비트급 양자화 도입 시 발생하는 정확도 하락을 해결하기 위해 온라인 회전과 SmoothQuant를 결합한 공동 학습(Joint Training) 전략이 필수적이다.
블록 대각 회전 구조를 채택하면 추론 지연 시간을 최소화하면서도 이상치 분산 효과를 충분히 얻을 수 있어 실무적인 프로덕션 배포가 가능하다.
AMD Quark 라이브러리를 통해 제공되는 회전 미세 조정 스크립트를 활용하면 특정 도메인 모델의 양자화 성능을 효과적으로 최적화하고 하드웨어 가속 성능을 극대화할 수 있다.

언급된 리소스

GitHubAMD Quark GitHub Repository

문서High-Accuracy MXFP4, MXFP6, and Mixed-Precision Models on AMD GPU accelerators