컴퓨터 비전을 활용한 식품 리콜 방지 가이드

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

식품 리콜의 주요 원인인 알레르기 유발 성분 미표기 문제를 해결하기 위해 AI 기반의 자동 검수 시스템을 구축하는 방법을 제시한다. 이 시스템은 RF-DETR 모델을 사용해 라벨의 성분표 영역을 찾는 '인식 계층'과 Gemini 3 Pro를 통해 텍스트를 분석하고 논리적 오류를 찾아내는 '추론 계층'의 2단계 구조로 작동한다. Roboflow Workflows를 활용해 조건부 로직을 적용함으로써 불필요한 API 호출을 줄이고 효율적인 실시간 모니터링 파이프라인을 구성한다. 최종적으로 리콜 위험이 감지되면 자동으로 알림을 전송하여 제조 공정에서 안전 사고를 미연에 방지할 수 있다.

배경

객체 탐지(Object Detection)의 기본 개념, Roboflow 플랫폼 사용법, LLM API 활용 및 JSON 데이터 구조에 대한 이해

대상 독자

식품 제조 공정 자동화 개발자 및 컴퓨터 비전 엔지니어

의미 / 영향

이 기술은 제조 현장에서 인간의 피로도로 인한 검수 오류를 획기적으로 줄여 기업의 리콜 비용을 절감하고 소비자 안전을 강화한다. 특히 고성능 비전 모델과 LLM의 결합은 단순 인식을 넘어선 지능형 제조 공정의 표준 모델이 될 것으로 전망된다.

섹션별 상세

식품 리콜의 34% 이상이 알레르기 성분 미표기 등 라벨링 오류로 인해 발생하며, 이는 수동 점검만으로는 현대의 빠른 생산 속도를 따라잡기 어렵다. 컴퓨터 비전 시스템은 24시간 자동 교차 검증을 통해 제품이 공장을 떠나기 전 오류를 포착한다.

식품 라벨 검수 시스템의 전체적인 대시보드와 작동 예시를 보여주는 히어로 이미지이다. — ScreenshotRF-DETR 모델이 성분표 영역을 탐지하고 Gemini 모델이 텍스트를 분석하여 리콜 위험을 판단하는 시스템의 전체 컨셉을 시각화한다. 실제 제품 포장지에서 성분 목록을 추출하는 과정을 보여준다.

시스템은 인식(Perception)과 추론(Reasoning)의 두 단계로 분리된 비전 에이전트 아키텍처를 채택한다. 1단계에서는 RF-DETR 모델이 성분 블록과 알레르기 주의 문구의 위치를 식별하고, 2단계에서는 Gemini 3 Pro가 해당 영역의 텍스트를 읽어 성분 목록과 주의 문구 간의 불일치를 판단한다.

RF-DETR 모델은 Transformer 기반 아키텍처로 복잡한 배경에서도 텍스트 블록을 정밀하게 찾아낸다. Roboflow에서 제공하는 데이터셋 증강 기법(채도, 밝기, 블러 조절)을 적용하여 공장 내부의 다양한 조명이나 카메라 흔들림에도 견고하게 작동하도록 학습시킨다.

Roboflow Universe에서 검색된 다양한 식품 라벨 관련 데이터셋 목록이다. — Screenshot사용자가 직접 데이터를 수집하지 않아도 오픈소스 데이터셋을 활용해 모델 학습을 시작할 수 있음을 보여준다. 성분표, 알레르기 감지 등 다양한 프로젝트 사례를 확인할 수 있다.

Roboflow Workflows를 통해 구축된 파이프라인은 'Continue If' 블록을 사용한 조건부 게이팅 로직을 포함한다. 라벨이 감지되지 않은 빈 프레임에서는 LLM 호출을 중단하여 API 비용을 절감하고 전체 시스템의 처리 효율을 극대화한다.

Gemini 3 Pro는 구조화된 JSON 프롬프트를 통해 분석 결과를 반환하며, 여기에는 발견된 알레르기 성분, 주의 문구 존재 여부, 불일치 감지 결과, 리콜 위험 수준이 포함된다. JSON Parser를 통해 이 데이터를 기계가 읽을 수 있는 형태로 변환하여 후속 자동화 작업을 수행한다.

json

{
  "ingredients_found": "List all allergens identified in the Ingredient Block text (e.g., Peanuts, Wheat, Soy). If ingredients are missing or unreadable, set to 'Unknown'.",
  "allergen_statement_present": "true ONLY if a clear, explicit 'Contains X' allergen statement exists. Precautionary or facility statements count as false.",
  "mismatch_detected": "true if (a) an allergen exists in ingredients but is not explicitly declared in a 'Contains' statement, OR (b) ingredient allergens exist and allergen info is missing or ambiguous.",
  "recall_risk_level": "High, Medium, Low, or Unknown based on rules below",
  "decision_logic": "Brief explanation justifying the risk level and mismatch decision"
}

Gemini 3 Pro 모델이 분석 결과를 구조화된 데이터로 출력하도록 유도하는 JSON 프롬프트 구조

최종 단계에서는 이메일 알림 블록을 연결하여 리콜 위험이 감지될 때 품질 관리 팀에 즉시 경고를 보낸다. 이 시스템은 Python 스크립트나 NVIDIA Jetson과 같은 엣지 디바이스에 배포되어 생산 라인에서 실시간으로 작동할 수 있다.

Roboflow 플랫폼 내에서 데이터셋 버전을 관리하고 모델 학습을 시작하는 인터페이스이다. — Screenshot데이터셋의 이미지 수, 전처리 설정 등을 확인하고 'Train Model' 버튼을 통해 클라우드 GPU에서 RF-DETR 모델 학습을 실행하는 단계를 설명한다.

실무 Takeaway

객체 탐지 모델(RF-DETR)과 멀티모달 모델(Gemini)을 결합한 2단계 아키텍처를 사용하면 복잡한 시각적 추론 작업의 정확도와 비용 효율성을 동시에 확보할 수 있다.
워크플로에 조건부 게이팅 로직을 삽입하여 유의미한 데이터가 감지될 때만 고비용 AI 모델을 실행함으로써 운영 비용을 최적화해야 한다.
LLM/VLM의 출력을 JSON 형식으로 구조화하면 이메일 발송, 웹훅 호출, 데이터베이스 기록 등 실무 자동화 프로세스와 즉시 연동 가능하다.

언급된 리소스

DemoRoboflow Universe Food Labels Dataset