QuantVLA: 시각-언어-행동 모델을 위한 스케일 보정 사후 학습 양자화

시각-언어-행동(Vision-Language-Action, VLA) 모델은 구체화된 에이전트(Embodied Agents)를 위해 지각, 언어, 제어를 통합하지만, 모델이 더 긴 수평선(Horizons)과 더 큰 백본(Backbones)으로 확장됨에 따라 급격히 증가하는 계산 및 메모리 요구 사항으로 인해 실제 배포에서 상당한 어려움에 직면해 있습니다. 이러한 병목 현상을 해결하기 위해 본 논문에서는 추가 학습이 필요 없는 사후 학습 양자화(Post-Training Quantization, PTQ) 프레임워크인 QuantVLA를 소개합니다. QuantVLA는 우리가 아는 한 VLA 시스템을 위한 최초의 PTQ 접근 방식이며, 확산 트랜스포머(Diffusion Transformer, DiT) 액션 헤드를 성공적으로 양자화한 최초의 사례입니다. QuantVLA는 세 가지 스케일 보정 구성 요소를 포함합니다. 첫째, 언어 백본과 DiT의 모든 선형 레이어를 정수화하는 동시에 원래의 연산자 스케줄을 유지하기 위해 어텐션 투영(Attention Projections)을 부동 소수점으로 유지하는 선택적 양자화 레이아웃(Selective Quantization Layout)입니다. 둘째, 어텐션 로짓(Attention Logits)을 안정화하고 추론 시 역양자화 스케일에 통합되는 경량 헤드별 스케일링 메커니즘인 어텐션 온도 매칭(Attention Temperature Matching)입니다. 셋째, 투영 후 에너지 드리프트(Energy Drift)를 완화하는 레이어별 잔차 인터페이스 보정인 출력 헤드 밸런싱(Output Head Balancing)입니다. 이 프레임워크는 추가 학습이 필요하지 않으며, 레이블이 없는 작은 보정 버퍼(Calibration Buffer)만을 사용하고, 아키텍처를 변경하지 않으면서 가중치와 활성화를 위한 저비트 정수 커널을 지원합니다. LIBERO 데이터셋의 대표적인 VLA 모델들에 대해 실험한 결과, QuantVLA는 전정밀도(Full-precision) 베이스라인의 작업 성공률을 상회하며 양자화된 구성 요소에서 약 70%의 상대적 메모리 절감을 달성하여, 엄격한 계산, 메모리 및 전력 제약 하에서 확장 가능한 저비트 구체화 지능(Embodied Intelligence)을 위한 실질적인 경로를 제공합니다.