ncnn의 Vulkan 백엔드로 다양한 GPU에서 로컬 얼굴 탐지·임베딩 가속화한 경험

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

PostSlate는 사용자 기기별로 NVIDIA·AMD·Intel·Apple Silicon이 혼재하는 환경에서 범용적으로 GPU 가속을 활용하기 위해 ncnn의 Vulkan 백엔드를 채택했고, Vulkan 드라이버가 광범위하게 존재한다는 점을 근거로 배포 마찰을 줄였다고 보고했다. 동일한 모델을 ONNX CPU와 ncnn Vulkan으로 비교한 벤치마크에서 4070 환경 기준 ArcFace R50의 추론 시간은 30ms에서 3ms로, SCRFD는 25ms에서 2.5ms로 단축되었고 ArcFace의 모델 파일 크기는 ONNX fp32 174MB에서 ncnn fp16 87MB로 줄었다. 이러한 결과는 GPU 오프로드와 fp16 가중치 저장이 로컬 추론의 지연과 저장 비용을 동시에 줄였음을 나타내며, 대상 하드웨어에서의 검증과 정확도 영향 확인이 병행되어야 함을 시사한다.

주요 논점

01찬성다수

ncnn의 Vulkan 백엔드를 사용하면 다양한 데스크탑·모바일 GPU에서 별도 벤더 런타임 없이 온디바이스 추론을 실행할 수 있다는 점이 제품 배포 관점에서 핵심 이점으로 제시되었다.

02찬성다수

GPU로 연산을 오프로드하고 fp16 가중치 저장을 활용하면 추론 지연과 모델 파일 크기를 동시에 크게 줄일 수 있다는 벤치마크 수치가 제시되었다.

합의점 vs 논쟁점

합의점

다양한 사용자 하드웨어 환경에서는 특정 벤더 전용 솔루션을 강제하면 사용자 설치와 배포에서 큰 마찰이 발생한다.
GPU로 연산을 오프로드하면 CPU 기반 실행 대비 추론 지연을 크게 줄일 수 있고, fp16 저장은 모델 파일 크기와 초기 로드 비용을 낮춘다.

실용적 조언

다양한 GPU 환경을 지원해야 하는 로컬 애플리케이션에서는 특정 벤더 전용 스택을 강제하지 않고 Vulkan 기반의 범용 백엔드를 검토하는 것이 유리하다고 제안되었다. 모델을 ONNX 등 중립 형식에서 ncnn으로 변환하고 fp16 가중치 저장을 사용하면 파일 크기를 절감하며 GPU에서 빠른 추론이 가능해진다. 실제 배포 전에는 대상 하드웨어에서 벤치마크를 수행해 정확도와 성능 트레이드오프를 검증하는 것이 필요하다고 권고되었다.

섹션별 상세

사용자 환경이 NVIDIA·AMD·Intel·Apple Silicon 등으로 매우 분산되어 있어 특정 벤더 전용 런타임을 전제로 할 수 없다는 문제가 제기되었다. 이 문제는 GPU 가속을 포기하지 않으면서도 범용적으로 동작하는 백엔드를 찾아야 한다는 필요로 이어졌다. 작성자는 Vulkan 드라이버가 목표 플랫폼들에 이미 존재한다는 점을 근거로 ncnn의 Vulkan 백엔드를 채택했고, 그 결과 설치 부담 없이 GPU 오프로드가 가능해졌다고 보고했다.

구체적 성능 비교는 ONNX CPU 실행과 ncnn Vulkan 실행을 동일 모델로 비교하는 방식으로 진행되었다. 입력으로 얼굴 이미지가 들어가면 SCRFD가 얼굴을 검출하고 ArcFace R50이 검출된 얼굴을 임베딩으로 변환하는 파이프라인이 ncnn Vulkan에서 GPU로 연산을 오프로드해 처리 지연을 줄이는 구조로 설계되었다. 4070 환경에서 ArcFace R50의 추론 시간은 ONNX CPU에서 30ms였으나 ncnn Vulkan fp16에서는 3ms로, SCRFD는 25ms에서 2.5ms로 개선된 수치가 제시되었다.

모델 파일 크기 최적화도 병행되어 ONNX fp32 기준 ArcFace가 174MB였던 반면 ncnn의 fp16 가중치 저장을 사용하면 87MB로 파일 크기가 절반 수준으로 줄었다. 파일 크기 감소는 디스크 저장과 메모리 로딩 시간을 줄여 초기 로드 지연을 낮추고 제한된 저장 공간 환경에서 이점으로 작용한다. 작성자는 이 수치들을 근거로 온디바이스 배포 시 네트워크·저장·메모리 제약 완화에 기여했다고 결론지었다.

실제 속도 향상은 GPU로 연산을 오프로드한 결과이지만, 궁극적으로 Vulkan을 선택한 이유는 속도 그 자체보다 플랫폼 호환성이라고 보고되었다. Vulkan 드라이버가 이미 여러 기기에 존재하므로 사용자에게 별도 런타임 설치를 요구하지 않으며, 이는 제품 배포와 사용자 경험 측면에서 마찰을 줄인다. 따라서 기술적 선택은 성능과 배포 용이성 두 축을 모두 고려한 결정으로 나타났다.

용어 해설

Vulkan: — Vulkan은 GPU 상에서 저수준 병렬 연산을 직접 실행할 수 있게 하는 크로스플랫폼 그래픽·컴퓨트 API이다. 이 글 맥락에서는 드라이버가 다양한 운영체제와 하드웨어에 이미 존재한다는 점이 중요하며, 그 결과 특정 벤더 전용 런타임을 강제하지 않고도 GPU로 연산을 오프로드할 수 있다. Vulkan은 셰이더 기반의 연산과 메모리 관리를 통해 모델 추론을 가속할 수 있다.
ncnn: — ncnn은 모바일·임베디드 환경을 겨냥한 경량 신경망 추론 프레임워크로, Vulkan 백엔드를 통해 GPU 가속을 지원한다. 해당 글에서는 하나의 범용 백엔드로 ncnn의 Vulkan 실행기를 택해 Windows·Linux·macOS·Apple Silicon 등 다양한 플랫폼에서 동일한 런타임 기반으로 실행할 수 있음을 근거로 삼았다. ncnn은 모델 변환과 fp16 가중치 저장을 통해 파일 크기와 실행 속도를 줄이는 역할을 한다.
ONNX: — ONNX는 서로 다른 프레임워크 사이에서 모델을 교환하기 위한 중립 형식으로, CPU·서버 환경에서 널리 사용된다. 본문에서는 초기 벤치마크가 ONNX CPU 실행을 기준으로 제시되었으며 이를 ncnn Vulkan으로 변환해 비교한 방식이 사용됐다. ONNX 모델을 GPU 친화적 백엔드로 변환해 실행 시간을 단축하는 과정이 핵심이다.
FP16(16비트 부동소수점)(fp16): — fp16은 가중치와 연산에서 16비트 부동소수점 표현을 사용해 메모리 사용량을 절감하고 메모리 대역폭 부담을 줄이는 수치 포맷이다. 글에서는 ArcFace 가중치 저장을 fp32에서 fp16로 옮겨 파일 크기를 절반가량으로 줄였고, 이로 인해 메모리·캐시 이점이 생겨 추론 속도 개선에 기여했다고 제시했다. fp16은 수치 정밀도와 연산 특성에 따라 일부 모델에서 정확도 영향을 줄 수 있으므로 검증이 필요하다.
ArcFace R50: — ArcFace R50은 얼굴 임베딩을 생성하는 백본으로 ResNet-50 아키텍처 기반의 얼굴 표현 모델이다. 글에서는 이 모델을 ONNX CPU에서 실행한 기존 측정치와 ncnn Vulkan에서 fp16으로 저장한 측정치를 비교해 추론 지연시간 단축과 모델 파일 크기 절감을 근거로 제시했다. 얼굴 인식 파이프라인의 임베딩 생성 단계에서 핵심 역할을 수행한다.
SCRFD: — SCRFD는 경량 얼굴 검출(얼굴 박스 추출)에 특화된 모델로서 실시간 애플리케이션에서 자주 쓰인다. 글에서는 SCRFD의 ONNX CPU 대비 ncnn Vulkan 실행 결과를 제시해 추론 시간이 크게 단축된 사례로 사용했다. 얼굴 검출 단계에서 빠른 전처리 지연 감소가 전체 파이프라인 처리량 향상으로 이어진다.

언급된 도구

PostSlate중립

동영상 편집 도구로 온디바이스 얼굴 탐지와 임베딩을 활용하는 제품

ncnn추천

경량 신경망 추론 프레임워크로 Vulkan 백엔드를 통해 크로스플랫폼 GPU 가속을 제공

Vulkan추천

플랫폼에 이미 존재하는 GPU 드라이버를 통해 범용적인 GPU 연산 오프로드를 지원하는 그래픽·컴퓨트 API

ONNX중립

모델을 프레임워크 간에 교환하는 중립 형식으로 CPU 기반 비교의 기준으로 사용됨

ArcFace R50중립

얼굴 임베딩 생성용 모델로 임베딩 추출 단계에서 사용됨

SCRFD중립

경량 얼굴 검출 모델로 전처리 단계에서 얼굴 박스 검출에 사용됨

언급된 리소스

문서Faster local inference (PostSlate blog)