Snapdragon NPU 배포 시 ONNX Runtime의 CPU 폴백(Fallback) 문제 해결법

실용적 조언

CI 파이프라인에 변동 계수(CV) 게이팅을 추가하여 15% 이상의 변동 발생 시 배포를 차단한다.
ONNX Runtime 프로파일링 데이터를 상세 모드로 설정하고 NPU FLOP 점유율을 검증한다.

섹션별 상세

ONNX Runtime의 QNN 실행 공급자가 지원되지 않는 연산을 CPU로 조용히 폴백시켜 프로덕션 환경에서 지연 시간이 3배 증가하는 문제가 발생한다. 이 현상은 런타임이 경고 로그만 남기고 연산을 CPU로 우회하기 때문에 개발 단계에서 인지하기 어렵다. 단순 중앙값 기반의 지연 시간 측정은 폴백으로 인한 이중 모드 분포를 가려내어 탐지에 실패한다. 따라서 프로덕션 환경과 유사한 실제 하드웨어 기반의 테스트가 필수적이다.

변동 계수(Coefficient of Variation)를 활용하여 폴백 현상을 탐지할 수 있다. 정상적인 NPU 동작 시 CV는 2~5% 수준이나, 간헐적인 CPU 폴백이 발생하면 CV가 15% 이상으로 급증한다. 이 지표를 게이트로 설정하면 단순 지연 시간 측정으로 놓치는 이상치를 효과적으로 식별 가능하다. 실무에서는 이 지표를 CI 파이프라인에 통합하여 배포 전 폴백 여부를 검증한다.

ORT 프로파일링 JSON을 분석하여 NPU FLOP 점유율을 명시적으로 검증하는 방법이 가장 확실한 진단책이다. profiling_level=detailed 옵션을 활성화한 뒤 프로파일링 데이터를 파싱하여 NPU 할당 연산 비율을 확인한다. 이 과정을 통해 폴백이 발생하는 특정 연산을 식별하고, 이를 지원되는 연산으로 교체하거나 펌웨어 대응을 결정할 수 있다.

용어 해설

신경망 처리 장치(NPU): — 인공지능 연산, 특히 딥러닝 알고리즘에 최적화된 하드웨어 가속기이다. CPU나 GPU보다 특정 신경망 연산을 더 빠르고 효율적으로 처리하여 모바일 기기나 엣지 디바이스에서 AI 추론을 가속화하는 데 사용된다.
ONNX 런타임(ONNX Runtime): — 다양한 하드웨어 가속기를 지원하는 고성능 머신러닝 추론 엔진이다. 모델을 여러 실행 공급자(Execution Provider)를 통해 다양한 하드웨어에서 효율적으로 실행할 수 있도록 최적화한다.
실행 공급자(Execution Provider): — ONNX Runtime이 특정 하드웨어 가속기(NPU, GPU 등)를 활용하여 모델을 실행할 수 있게 해주는 인터페이스이다. 지원되지 않는 연산이 있을 경우 CPU로 자동 전환하는 폴백(fallback) 기능을 포함한다.
변동 계수(Coefficient of Variation): — 데이터의 표준 편차를 산술 평균으로 나눈 값으로, 데이터의 상대적인 산포도를 나타내는 통계 지표이다. 이 아티클에서는 NPU와 CPU 간의 성능 차이로 발생하는 지연 시간의 불균형을 탐지하는 지표로 사용된다.

언급된 도구

ONNX Runtime추천

ML 추론 엔진

QNN중립

Qualcomm Neural Network SDK

언급된 리소스

튜토리얼How we catch silent NPU fallback on Snapdragon in CI