로봇 팔과 RF-DETR을 활용한 자동 결함 탐지 시스템 구축하기

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

웹캠과 RF-DETR 모델, 로봇 팔을 결합하여 실시간으로 결함 제품을 식별하고 분류하는 물리적 AI 시스템 구축 방법이다. 10장의 이미지를 학습시킨 모델로 결함을 탐지하고, 호모그래피 행렬을 통해 픽셀 좌표를 물리적 좌표로 변환하여 로봇 팔의 정밀한 동작을 제어한다. 조명 노출 조절과 흡착 물리 최적화 등 실전에서 발생하는 하드웨어 문제를 해결하여 0.2초 내의 처리 속도를 확보했다. 이 아키텍처는 데이터셋과 엔드 이펙터 교체만으로 제조, 식품, 의약품 등 다양한 산업 현장에 즉시 적용 가능하다.

섹션별 상세

제조 공정의 품질 검사는 비전 시스템과 물리적 하드웨어를 직접 연결할 때 가장 효율적이다. 이 시스템은 웹캠으로 영상을 획득하고 RF-DETR 모델로 실시간 결함을 탐지한 뒤, 로봇 팔을 제어하여 불량품을 자동으로 제거하는 루프를 0.2초 내에 수행한다.

bash

git clone https://github.com/aarnavshah12/defect-detect-bot && cd defect-detect-bot
uv venv --python 3.12 .venv
uv pip install --python .venv/bin/python opencv-python numpy inference pyserial

프로젝트 저장소 복제 및 의존성 설치 명령어

python

config.py: Physical dimensions, safety margins, and coordinate bounds.
detect.py: Model loader, Detection dataclasses, spatial filters, and live visualization feeds.
mapping.py: Homography matrix calculations and coordinate conversions.
calibrate.py: Self-calibration grid generation, verify nudge routines, and offline error checks.
arm.py: Serial driver, inverse kinematics wrapper, motion safety bounds, and manual jogging mode.
pick.py: Main sorting state machine and HUD overlay rendering.

프로젝트의 주요 모듈별 역할 정의

모델 학습은 Roboflow에서 10장의 원본 이미지를 증강하여 40장의 데이터셋으로 구성했다. Defect와 Good으로 이진 분류를 수행하며, 정밀한 바운딩 박스와 하드 네거티브를 포함한 주석 작업을 통해 검증 세트에서 97%의 mAP를 달성했다.

비전 좌표를 물리적 좌표로 변환하기 위해 OpenCV의 findHomography를 활용한 3x3 호모그래피 행렬을 사용한다. 로봇 팔이 16개 지점을 이동하며 데이터를 수집하는 자동 보정 루틴을 통해 전체 작업 영역에서 평균 1.8mm의 오차로 정밀한 위치 매핑을 구현했다.

실제 환경에서는 조명에 따른 이미지 클리핑이나 흡착 실패와 같은 물리적 변수가 발생한다. 이를 해결하기 위해 백라이트 보정으로 노출을 조절하고, 진공 유지 시간을 늘리며, 로봇 팔의 실제 위치를 폴링하여 오차 발생 시 즉시 중단하는 안전 메커니즘을 적용했다.

용어 해설

호모그래피 행렬(Homography Matrix): — 두 평면 사이의 투영 변환을 나타내는 3x3 행렬이다. 카메라의 픽셀 좌표계를 로봇 팔의 물리적 좌표계로 변환할 때 사용하며, 이를 통해 비전 시스템이 인식한 객체의 위치를 로봇이 정확히 찾아가도록 돕는다.
물리적 AI(Physical AI): — AI 모델의 인지 능력을 물리적 하드웨어와 결합하여 실세계에서 동작을 수행하는 기술이다. 단순히 데이터를 처리하는 것을 넘어 로봇 팔, 센서 등과 상호작용하며 자동화된 물리적 작업을 수행하는 것이 핵심이다.
추론 지연 시간(Inference Latency): — 모델이 입력을 받아 결과를 출력하기까지 걸리는 시간이다. 실시간 제어가 필요한 로봇 시스템에서는 이 시간이 짧을수록 즉각적인 반응이 가능하여 작업 효율과 정확도가 높아진다.

기술

RF-DETR
Roboflow
OpenCV
Hiwonder MaxArm
Python
CoreML

활용 사례

제조 품질 관리
전자 부품 조립
식품 및 농산물 선별
목재 등급 분류
의약품 포장 검사

언급된 리소스

GitHubGitHub Repository: defect-detect-bot

문서How to Build an Autonomous Defect Detector with Physical AI