컴퓨터 비전 모델의 추론 속도를 높이는 방법

섹션별 상세

01

추론 성능의 핵심 지표인 FPS와 Latency를 구분하여 최적화 목표를 설정해야 한다. FPS는 초당 처리 가능한 프레임 수로 시스템의 전체 처리량을 나타내며, Latency는 단일 프레임당 소요 시간으로 응답 속도를 의미한다. 실시간 제조 검사나 드론 제어와 같은 응용 분야에서는 높은 FPS와 낮은 Latency가 동시에 요구된다.

60 FPS, 30 FPS, 15 FPS 환경에서 달리는 사람의 잔상 차이를 보여주는 이미지 — Infographic프레임 속도(FPS)가 낮아질수록 움직이는 물체의 궤적이 끊겨 보이거나 잔상이 심해지는 현상을 시각적으로 설명한다. 이는 실시간 애플리케이션에서 왜 높은 FPS가 필요한지 직관적으로 보여준다.

입력 이미지부터 모델을 거쳐 예측 결과가 나오기까지의 시간 지연(Latency)을 나타낸 다이어그램 — Diagram추론 지연 시간(Latency)이 입력 시점(t=0)부터 예측 완료 시점(t=Latency) 사이의 시간차임을 정의한다. FPS와는 다른 응답성 측면의 성능 지표임을 명확히 한다.

02

입력 데이터의 해상도를 모델의 학습 해상도와 일치시키는 전처리가 가장 즉각적인 속도 향상을 가져온다. 4K 해상도의 영상을 640x640으로 학습된 모델에 그대로 전달하면 불필요한 픽셀 연산과 데이터 전송 비용이 발생하므로, 워크플로 단계에서 미리 크기를 조정하여 연산 부하를 줄여야 한다.

이미지 전처리 블록이 포함된 Roboflow 워크플로 구성도 — Diagram입력 이미지가 모델에 도달하기 전 'image_preprocessing' 단계를 거쳐 해상도가 조정되는 과정을 보여준다. 이를 통해 불필요한 연산을 줄이는 최적화 단계를 시각화한다.

03

모델 아키텍처 선택 시 정확도와 속도 사이의 트레이드오프를 고려하여 Nano 또는 Small 변체를 우선적으로 검토한다. RF-DETR이나 YOLOv12 같은 최신 모델들은 작은 크기에서도 높은 성능을 내며, 특히 RF-DETR은 NMS(Non-Maximum Suppression) 과정을 제거하여 후처리 병목을 없애고 진정한 엔드투엔드 추론을 가능하게 한다.

04

NVIDIA GPU와 TensorRT 가속 엔진을 결합하여 하드웨어 성능을 극대화한다. TensorRT는 레이어 융합과 커널 최적화를 통해 모델을 특정 GPU에 맞게 재컴파일하며, FP16 또는 INT8 양자화를 적용할 경우 정밀도 손실을 최소화하면서도 추론 속도를 2배 이상 높일 수 있다.

python

from inference_sdk import InferenceHTTPClient

client = InferenceHTTPClient(
    api_url="https://serverless.roboflow.com",
    api_key="YOUR_API_KEY"
)
result = client.infer("image.jpg", model_id="your-model/1")

Roboflow의 서버리스 호스팅 API를 사용하여 이미지를 추론하는 예시

NVIDIA Jetson Orin NX가 탑재된 산업용 엣지 디바이스 Flowbox의 외관과 내부 구조 — Photo실제 산업 현장에서 실시간 추론을 위해 사용되는 하드웨어 솔루션을 보여준다. IP24 등급 인클로저와 PLC 통합 기능 등 현장 배포에 필요한 물리적 사양을 확인할 수 있다.

05

소프트웨어 파이프라인에서 병렬 처리와 배치 추론(Batched Inference)을 도입하여 GPU 활용률을 높인다. Roboflow Inference Server의 병렬 모드는 전처리, 추론, 후처리를 별도 스레드에서 실행하며, 여러 프레임을 한꺼번에 처리하는 배칭 기법을 통해 단일 프레임 처리 대비 전체 처리량을 70% 이상 향상시킨다.

python

from rfdetr import RFDETRMedium

model = RFDETRMedium(pretrain_weights="")
model.export(simplify=True) # simplification improves runtime compatibility and speed

RF-DETR 모델을 최적화된 추론을 위해 ONNX 형식으로 내보내는 코드

용어 해설

초당 프레임 수(FPS): — 시스템이 1초 동안 처리할 수 있는 이미지의 개수를 나타내는 처리량 지표이다. 실시간 컴퓨터 비전 애플리케이션에서는 보통 30 FPS 이상을 목표로 하며, 제조 공정이나 드론 내비게이션 등 고속 환경에서는 60 FPS 이상이 요구되기도 한다.
지연 시간(Latency): — 단일 프레임이 입력되어 예측 결과가 나오기까지 걸리는 시간을 밀리초 단위로 측정한 응답성 지표이다. 처리량인 FPS와는 별개로 개별 예측의 신속함을 의미하며, 즉각적인 반응이 필요한 제어 시스템에서 매우 중요한 성능 지표로 다뤄진다.
양자화(Quantization): — 모델의 가중치와 활성화 함수 값을 FP32에서 FP16 또는 INT8과 같이 낮은 정밀도로 변환하는 기법이다. 메모리 대역폭 사용량을 줄이고 연산 과정을 단순화하여 추론 속도를 2~4배 향상시키며, 최신 GPU의 텐서 코어를 활용해 효율을 극대화한다.
텐서RT(TensorRT): — NVIDIA에서 개발한 고성능 딥러닝 추론 최적화 엔진으로, 레이어 융합과 커널 자동 튜닝을 통해 모델을 특정 하드웨어에 최적화한다. 양자화와 그래프 최적화를 적용하여 PyTorch나 TensorFlow 모델보다 훨씬 빠른 추론 속도를 보장하는 프로덕션 환경의 필수 도구이다.
비최대 억제(NMS): — 객체 검출 모델이 동일한 물체에 대해 생성한 여러 개의 중복 경계 상자 중 점수가 가장 높은 것만 남기고 나머지를 제거하는 후처리 기법이다. CPU 연산 부하를 높이는 병목 지점이 될 수 있으며, 최근 RF-DETR 같은 모델은 이를 제거한 아키텍처를 채택한다.

기술

Roboflow Inference
RF-DETR
YOLOv12
TensorRT
ONNX Runtime
NVIDIA Jetson

활용 사례

제조 라인 결함 검사
실시간 드론 내비게이션
지능형 교통 관제 시스템
엣지 디바이스 기반 보안 카메라

언급된 리소스

문서Roboflow Inference Device Compatibility Guide

튜토리얼RF-DETR ONNX Export Guide