이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
이 튜토리얼은 517장의 fastener 이미지에서 Torque seal을 인스턴스 분할로 검출하고 Google Gemini로 정렬 상태를 판정하는 Roboflow Workflow를 구축합니다. RF-DETR은 페인트 선의 mask를 만들고 Custom Python Block은 끊겨 검출된 조각을 Union-Find로 병합하며, Gemini는 aligned, misaligned, unclear 중 하나를 반환합니다. Seal Check는 이를 PASS, FAIL, UNREADABLE로 바꾸고 라벨 이미지와 JSON 보고서를 출력하며 Roboflow Vision Events에 검사 기록을 남깁니다. 검출 결과가 없거나 판정이 불명확한 경우에는 오판을 피하기 위해 UNREADABLE로 처리하고, 생산 환경에서는 hosted inference, Roboflow Inference, 파일, webcam, RTSP stream을 입력원으로 사용할 수 있습니다.
섹션별 상세
공장 출하 전에 체결 상태를 확인하는 Torque seal은 볼트와 표면을 가로지르는 페인트 선으로, 체결부가 회전하면 선이 이동하거나 끊어지는 방식으로 이상을 드러냅니다. 글은 2025년 12월 Toyota가 공장에서 규정 토크로 조이지 않은 인버터 볼트 문제로 약 55,400대의 하이브리드 차량을 리콜한 사례를 배경으로 삼습니다. 모든 선을 사람이 확인하면 희미하거나 부분적으로 끊긴 흔적을 놓칠 수 있으므로, 이미지 입력을 pass, fail, unreadable로 바꾸는 자동 검사 Workflow를 구축합니다.
Torque seal 검출에는 517장의 fastener 이미지와 torque seal, reflection, objects 라벨이 포함된 Roboflow Universe 데이터셋을 사용합니다. reflection을 별도 클래스로 두면 모델이 실제 페인트 선과 빛 반사를 구분할 수 있고, 데이터셋을 Fork한 뒤 70/20/10 비율로 train, validation, test 세트를 나눠 RF-DETR을 학습시킵니다. 학습 전에는 모델 크기, 데이터셋 버전, 이미지 수, 입력 해상도, 예상 시간과 credit을 확인하고, 학습 후에는 보지 못한 이미지에서 mAP, precision, recall, F1을 점검합니다.
Workflow의 첫 단계인 Instance Segmentation Model은 이미지에서 Torque seal을 찾아 각 조각의 mask와 confidence를 반환하며, 글은 희미한 seal을 놓치지 않도록 Custom confidence threshold를 0.3으로 설정합니다. Custom Python Block은 torque seal 클래스만 남긴 뒤 인접한 조각을 Union-Find 방식으로 묶어 한 물리적 seal당 하나의 detection과 seal_count를 만듭니다. 이렇게 병합한 결과는 이후의 라벨 표시와 개수 계산에 사용하고, 전체 detector 출력은 mask 시각화에 사용합니다.
python
def run(self, predictions):
if predictions is None or len(predictions) == 0:
return {"merged": predictions, "seal_count": 0}
names = list(predictions.data.get("class_name", []))
keep = [i for i, n in enumerate(names) if str(n).lower() == "torque seal"]
if not keep:
return {"merged": predictions[[]], "seal_count": 0}
dets = predictions[keep]
boxes = dets.xyxy
n = len(boxes)
has_mask = dets.mask is not None
parent = list(range(n))
def find(a):
while parent[a] != a:
parent[a] = parent[parent[a]]
a = parent[a]
return a
def union(a, b):
parent[find(a)] = find(b)
GAP = 80
def near(b1, b2):
dx = max(0, max(b1[0], b2[0]) - min(b1[2], b2[2]))
dy = max(0, max(b1[1], b2[1]) - min(b1[3], b2[3]))
return dx }분할된 Torque seal detection을 필터링하고 가까운 조각을 Union-Find로 묶어 하나의 seal로 병합하는 Custom Python Block입니다.
병합된 seal은 Google Gemini에 전달해 seam offset과 선의 연속성을 바탕으로 aligned, misaligned, unclear 중 하나로 판정합니다. VLM as Classifier가 Gemini의 JSON 응답을 세 클래스로 변환하고, Seal Check 블록이 aligned를 PASS, misaligned를 FAIL, unclear 또는 검출 결과가 없는 경우를 UNREADABLE로 매핑해 report, display_text, qc_result를 생성합니다. 여러 fastener가 한 이미지에 있으면 seal마다 판단하도록 먼저 crop해야 하며, 현재 Workflow는 한 이미지에서 하나의 seal을 평가하는 구조입니다.
후속 블록은 원본 mask와 병합된 seal 라벨을 이미지에 겹친 뒤 상태 텍스트를 반투명 검은 배경 위에 표시하고, Roboflow Vision Events로 각 검사와 결과를 기록합니다. 최종 출력은 라벨이 추가된 이미지와 status, verdict, seal_count를 담은 JSON 보고서이며, 예시에서는 어긋난 선이 FAIL, seal이 검출되지 않은 경우가 UNREADABLE, 끊어지지 않고 seam을 정확히 가로지른 선이 PASS로 반환됩니다. 판정 기준은 고정된 코드가 아니라 Gemini prompt에 들어가므로 다른 결함으로 확장할 때 detector와 prompt를 함께 바꿀 수 있지만, 정확도는 prompt 품질에 좌우됩니다.
python
def run(self, classification, predictions, seal_count):
def top_class(obj):
# dict-style payload from vlm_as_classifier
if isinstance(obj, dict):
for k in ("top", "top_class", "class_name", "predicted_class"):
v = obj.get(k)
if isinstance(v, str): return v
preds = obj.get("predictions")
if isinstance(preds, list) and preds:
best = max(preds, key=lambda p: float(p.get("confidence", 0) or 0))
return best.get("class_name") or best.get("class")
# object-style payload
for attr in ("top", "top_class", "class_name", "predicted_class"):
v = getattr(obj, attr, None)
if isinstance(v, str): return v
data = getattr(obj, "data", None)
return top_class(data) if isinstance(data, dict) else None
verdict = str(top_class(classification) or "unclear").strip().lower()
if verdict not in ("aligned", "misaligned", "unclear"):
verdict = "unclear"
try:
seal_count = int(seal_count)
except Exception:
seal_count = len(predictions) if predictions is not None else 0
if seal_count == 0 or verdict == "unclear":
status = "UNREADABLE"
elif verdict == "misaligned":
status = "FAIL"
else:
status = "PASS"
report = {"status": status, "verdict": verdict, "seal_count": seal_count}
return {
"report": report,
"display_text": f"Status: {status}
Seal: {verdict}",
"qc_result": status,
}Gemini의 분류 결과와 seal 개수를 정규화한 뒤 aligned, misaligned, unclear를 PASS, FAIL, UNREADABLE 상태와 JSON 보고서로 변환합니다.
용어 해설
- 인스턴스 분할(Instance Segmentation)
- — 인스턴스 분할은 이미지 안의 객체를 찾아내는 데 그치지 않고 각 객체에 해당하는 픽셀 영역을 개별 마스크로 구분하는 컴퓨터 비전 기법입니다. 이 글에서는 Torque seal의 위치와 윤곽을 얻어 여러 조각을 하나의 seal로 합치고, 시각언어 모델의 판정 결과를 실제 검사용 이미지에 겹쳐 표시하는 데 사용합니다.
- 시각언어 모델(Vision-Language Model)
- — 시각언어 모델은 이미지와 텍스트를 함께 입력받아 시각적 상태를 언어 형태로 판단하는 모델입니다. 이 글에서는 RF-DETR이 추출한 Torque seal 이미지를 Gemini에 전달하고, seal이 정렬됐는지 어긋났는지 또는 판독 불가능한지를 JSON으로 반환하게 합니다.
- 평균 정밀도(mAP)
- — mAP는 객체 검출 모델이 예측한 위치와 분류의 정확도를 종합하는 평가 지표입니다. 학습이 끝난 뒤 보지 못한 테스트 이미지에서 mAP, precision, recall, F1을 확인해 RF-DETR이 Torque seal과 reflection을 얼마나 구분하는지 평가하는 데 사용합니다.
- Union-Find
- — Union-Find는 서로 가까운 항목을 같은 집합으로 묶고 각 집합의 대표를 빠르게 찾는 자료구조입니다. 이 글의 Custom Python Block은 분할된 Torque seal 조각의 위치를 비교해 인접한 조각을 하나의 seal detection으로 병합하고, 물리적 seal 개수를 계산하는 데 이를 활용합니다.
- RTSP 스트림(RTSP Stream)
- — RTSP Stream은 네트워크를 통해 실시간 영상 프레임을 전달하는 방식입니다. 글에서는 고정형 컨베이어 카메라나 생산 라인에서 들어오는 이미지 소스로 RTSP 스트림을 사용할 수 있으며, 각 프레임을 Workflow에 보내 pass, fail, unreadable 결과를 downstream tracking에 전달하는 구성을 언급합니다.
기술
- Roboflow Universe
- Roboflow RF-DETR
- Google Gemini
- Roboflow Workflows
- Roboflow Vision Events
- Roboflow Inference
- Python
- Instance Segmentation
- VLM as Classifier
- Mask Visualization
- Label Visualization
- Text Display
- RTSP streams
활용 사례
- 자동차 생산 라인의 Torque seal 검사
- 고정형 컨베이어 카메라를 이용한 체결부 품질 검사
- 수동 검사대의 fastener 이미지 판정
- pass, fail, unreadable 결과를 downstream tracking에 전달하는 품질 관리
- 판독 불가능한 이미지를 향후 학습 데이터로 수집하는 검사 시스템
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 08. 19.수집 2026. 08. 19.출처 타입 RSS
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
