QuantVLA: 시각-언어-행동(VLA) 모델을 위한 척도 보정 사후 학습 양자화

로봇 제어를 위한 VLA 모델은 거대한 크기 때문에 실제 로봇 하드웨어에 배포하기 어렵다. QuantVLA는 추가 학습 없이도 모델 크기를 대폭 줄이면서 오히려 기존 모델보다 더 높은 작업 성공률을 보여주어, 저사양 기기에서도 고성능 로봇 AI를 실시간으로 구동할 수 있는 실질적인 경로를 제시한다.

기존의 양자화 기법은 주로 텍스트나 이미지 생성 모델에 최적화되어 있어, 로봇의 정밀한 움직임을 제어하는 VLA 모델에 적용하면 성능이 급격히 떨어진다. 특히 VLA 모델의 핵심인 DiT(Diffusion Transformer)는 양자화 시 발생하는 미세한 오차가 로봇의 오작동으로 이어지는 '드리프트' 현상에 매우 취약하다. Transformer의 Attention 연산에서 입력값의 미세한 변화가 Softmax를 거치며 특정 행동에 과도하게 집중하거나 분산되는 결과를 낳기 때문이다.

QuantVLA는 이 문제를 해결하기 위해 모든 레이어를 똑같이 양자화하는 대신, 오차에 민감한 부분은 정밀도를 유지하고 나머지는 과감하게 줄이는 '선택적 양자화' 전략을 취한다. 또한, 양자화로 인해 변형된 데이터의 분포를 원래 모델의 분포와 일치시키도록 미세 조정하는 두 가지 보정 기술을 사용한다. 이는 마치 정밀한 저울의 영점을 다시 맞추는 것과 같아서, 데이터가 양자화라는 거친 필터를 통과한 후에도 원래의 의미를 잃지 않도록 돕는다.

결과적으로 4비트 가중치와 8비트 활성화(W4A8) 환경에서도 모델의 추론 능력을 유지하며, 메모리 사용량을 70% 가까이 줄여 실제 로봇 환경에서의 실시간 구동 가능성을 입증했다.

Selective Quantization Layout을 통해 언어 백본의 모든 선형 레이어와 DiT의 MLP 레이어는 정수(Integer)로 양자화하되, 오차에 가장 민감한 Attention Projection(Q, K, V, O)은 부동 소수점(Floating Point)으로 유지하여 연산 효율과 정밀도의 균형을 맞춘다.

Attention Temperature Matching(ATM)은 양자화된 Logit의 표준 편차와 원본 모델의 표준 편차를 비교하여 보정한다. [원본과 양자화된 Logit의 분산 비율을 입력으로] → [나눗셈 연산을 통해 보정 계수 α를 산출해] → [양자화된 Logit에 곱하는 결과를 얻고] → [이 값은 Attention 분포가 너무 뾰족하거나 평평해지는 것을 방지하여 원래의 주의 집중도를 복원하는 의미]를 갖는다.

Output Head Balancing(OHB)은 레이어 출력의 에너지(RMS)를 원본과 맞추기 위해 보정 계수를 적용한다. [레이어 출력값의 RMS 비율을 입력으로] → [역수 연산을 수행해 보정 계수 β를 도출하고] → [잔차 연결(Residual Connection) 직전의 출력에 적용하는 결과를 얻고] → [이는 양자화로 인해 변하는 신호의 세기를 조절하여 레이어 정규화(LayerNorm)가 안정적으로 작동하게 돕는 의미]를 가진다.

LIBERO 벤치마크 실험 결과, OpenPI π0.5 모델에 적용했을 때 원본(FP16)의 성공률 97.1%를 상회하는 97.6%를 기록했다. GR00T N1.5 모델에서도 원본 86.5% 대비 향상된 88.0%의 성공률을 보이며 양자화 후에도 성능이 유지됨을 확인했다.

메모리 효율성 측면에서 π0.5 모델은 4.27GB에서 1.28GB로 약 70%의 메모리 절감을 달성했으며, GR00T N1.5 모델은 2.02GB에서 0.91GB로 약 55%의 절감 효과를 확인했다.

Ablation Study를 통해 ATM과 OHB 보정 기술이 없을 경우, 특히 장기 작업(Long-horizon tasks)에서 성공률이 급격히 하락(π0.5 기준 92.0%에서 76.3%로 감소)함을 입증하여 제안된 보정 기법의 필수성을 확인했다.

VLA 모델의 DiT 액션 헤드가 양자화에 취약한 이유를 수학적으로 분석하여, 상위 언어 모델에서 전파된 오차가 Attention Logit의 온도 변화와 잔차 스트림의 에너지 드리프트를 유발함을 규명했다. 이를 해결하기 위해 DuQuant의 회전 기반 재매개변수화(Reparameterization) 기법을 차용하여 이상치(Outlier)를 억제하고 양자화 효율을 높였다.

ATM과 OHB는 학습이 필요 없는(Training-free) 방식이며, 소량의 레이블 없는 데이터(Calibration Buffer)를 사용하여 한 번만 계산된 후 추론 시 양자화 스케일에 병합(Folded)되므로 추가적인 연산 오버헤드가 거의 없다. 실험은 NVIDIA A100 GPU 환경에서 W4A8(4비트 가중치, 8비트 활성화) 설정을 기본으로 수행되었다.

본 연구에서 제안된 ATM 및 OHB 메커니즘은 DiT 구조의 특성에 최적화되어 있으므로, DiT 기반이 아닌 VLA 모델(예: OpenVLA)에 직접 적용할 때는 효과가 제한적일 수 있다.