더 작고 느리고 부정확: 공격적 양자화가 온디바이스 추론에 미치는 비용

공유된 링크는 온디바이스 양자화의 현실적 한계에 대한 실측 근거로 받아들여졌으며, 다수의 참여자가 유사한 경험과 하드웨어별 차이를 덧붙였다. 일부는 양자화 관련 런타임 최적화와 커널 개선의 필요성을 언급했고, 다른 일부는 보수적 비트폭과 하이브리드 전략을 권했다. 전반적으로 실무적 경고로 받아들여지면서 추가 벤치마크와 플랫폼별 테스트 사례 공유가 이어졌다.

• 온디바이스 양자화 적용 전후에는 모델 파일 크기뿐만 아니라 엔드투엔드 지연, 메모리 대역폭 사용량, 그리고 출력 품질을 포함한 전체 시스템 벤치마크를 수행해야 한다. 런타임에서 발생하는 패킹·언패킹과 역양자화 오버헤드를 측정하고 하드웨어에 최적화된 정수 커널 유무를 확인하는 절차가 필요하다. 정확도가 중요한 워크로드에서는 per-channel 스케일링이나 부분적 혼합 정밀도 적용을 고려해 공격적 비트 축소의 부작용을 완화해야 한다.

Quantization

— 딥러닝 모델의 가중치와 활성값을 고정소수점 또는 저비트 정수로 변환하여 저장 공간과 메모리 전송량을 줄이는 기법이다. 이 과정은 원래의 부동소수점 값들을 스케일과 제로포인트로 근사하여 매트릭스 곱 연산을 저비트 연산으로 대체하거나 저장 효율을 높인다. 온디바이스 환경에서는 모델 용량 감소와 메모리 절감이 장점이지만 양자화 방식과 하드웨어 특성에 따라 정확도 저하와 실행 속도 역효과가 발생할 수 있어 주의가 필요하다.

Dequantization

— 양자화된 정수 표현을 스케일과 제로포인트를 이용해 다시 부동소수점 근사값으로 복원하는 연산이다. 추론 중 정수 연산 결과를 재변환하거나 혼합 정밀도 연산을 위해 수행되며 추가 메모리 접근과 계산 비용을 유발할 수 있다. 온디바이스 실행에서 이 단계는 파일 크기 감소가 곧바로 속도 향상으로 이어지지 않는 주요 원인 중 하나로 작용한다.

Memory bandwidth

— 프로세서와 메모리 간에 단위 시간당 전송할 수 있는 데이터 양을 뜻하며, 모델 추론 성능을 좌우하는 핵심 하드웨어 자원이다. 양자화로 모델 파라미터의 크기를 줄이면 이론적으로는 메모리 전송량이 감소하지만 패킹/언패킹, 캐시 미스, 역양자화 트래픽 등으로 실사용 시 대역폭 병목이 남을 수 있다. 온디바이스 환경에서는 대역폭 한계로 인해 낮은 비트폭이 오히려 처리량과 응답 시간을 악화시키는 사례가 관찰된다.