스냅드래곤 NPU에서 모바일넷V2(MobileNetV2) 100회 추론 벤치마크 결과

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

삼성 갤럭시 S24의 스냅드래곤 NPU에서 MobileNetV2를 100회 실행하여 콜드 스타트 지연 시간과 중앙값 기반 벤치마크의 중요성을 입증했다.

배경

실제 하드웨어인 삼성 갤럭시 S24에서 Qualcomm AI Hub를 통해 MobileNetV2의 추론 성능을 100회 측정했다. 에뮬레이터가 아닌 실제 기기에서의 NPU 성능 데이터를 확보하고 벤치마크 시 고려해야 할 변수들을 분석했다.

의미 / 영향

모바일 NPU 환경에서 모델 성능을 평가할 때 단순 평균치는 왜곡된 결과를 줄 수 있음을 시사한다. 하드웨어 특성에 따른 초기 지연과 열 제약 조건을 고려한 중앙값 기반의 측정 표준이 실무에서 필수적이다.

커뮤니티 반응

실제 기기 기반의 구체적인 수치 데이터에 대해 긍정적인 반응이며, 모바일 AI 배포 시의 실무적인 팁으로 평가받고 있다.

실용적 조언

벤치마크 시 첫 2회 실행은 웜업으로 간주하여 제외할 것
성능 평가 지표로 평균 대신 중앙값(Median)을 사용할 것
CI 환경에서는 최소 11회 반복 실행 후 중앙값을 측정할 것

섹션별 상세

콜드 스타트(Cold-start) 현상으로 인해 첫 번째 실행 속도가 중앙값인 0.369ms보다 7.3배 느린 2.689ms로 측정됐다. 이는 모델 자체의 속도 문제가 아니라 NPU 캐시 초기화 과정에서 발생하는 지연이며, 벤치마크 시 반드시 첫 실행(Warmup)을 제외해야 정확한 성능 측정이 가능하다는 점을 확인했다. 두 번째 실행부터는 0.428ms로 급격히 안정화되었으며 세 번째 실행 이후 완전히 정착했다.

평균값(Mean)과 중앙값(Median)의 차이를 분석한 결과, 평균값이 중앙값보다 약 1.5% 높게 나타났다. 이는 간헐적으로 발생하는 0.665ms와 같은 튀는 값(Outlier)들이 평균을 끌어올리기 때문이며, 열 스로틀링(Thermal Throttling)이 발생하는 대형 모델에서는 이 격차가 5-15%까지 벌어질 수 있다. 따라서 성능 게이팅이나 의사결정 시에는 이상치에 강건한 중앙값을 지표로 삼는 것이 더 적절하다.

실무적인 해결책으로 'N개 중 중앙값 게이팅(Median-of-N gating)' 전략을 제안했다. 처음 2회의 웜업 실행을 제외하고 목적에 따라 3회에서 21회까지 반복 실행한 뒤 중앙값을 취하는 방식이다. 이 방식은 결정론적인 통과/실패 판정을 가능하게 하여 지속적 통합(CI)이나 릴리스 자격 검증에 유용하게 활용 가능하다.

MobileNetV2 외에도 ResNet50(25.6M 파라미터)에 대한 벤치마크도 동일 기기에서 수행했다. ResNet50의 경우 중앙값 1.403ms의 추론 속도와 236.6MB의 피크 메모리 사용량을 기록했다. 모든 결과는 Ed25519와 SHA-256을 이용한 서명된 증거 번들(Evidence ID: e26730a7)로 관리되어 데이터의 신뢰성을 확보했다.

실무 Takeaway

NPU 추론 벤치마크 시 첫 1-2회 실행은 캐시 초기화로 인해 매우 느리므로 반드시 결과에서 제외해야 한다.
성능 지표 설정 시 이상치에 민감한 평균값 대신 중앙값을 사용하는 것이 실제 사용자 경험을 더 잘 반영한다.
신뢰할 수 있는 벤치마크를 위해 최소 11회(CI 기준) 이상의 반복 실행과 중앙값 추출 전략이 필요하다.

언급된 도구

Qualcomm AI Hub추천

스냅드래곤 하드웨어용 모델 컴파일 및 프로파일링

언급된 리소스

문서100 Inference Runs on Snapdragon: What the Data Shows