VLM과 Agentic AI 기반 자율 비전 검사

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

스마트 팩토리의 비전 검사에서는 공정과 조명 변화로 기존 모델의 신뢰도가 낮아질 때 불확실한 이미지를 골라 라벨링하고 재학습한 뒤 다시 배포해야 하지만, 이 과정이 엔지니어의 수작업에 묶여 있었습니다. LG AI Research의 프레임워크는 MC Dropout으로 모델 지식 부족에 따른 불확실성 데이터를 선별하고, VLM이 정상 이미지와 불량 이미지를 Grid 단위로 비교해 결함 위치·종류·원인을 라벨과 자연어 보고서로 생성하도록 구성했습니다. VLM의 의사 라벨에 오류가 섞여도 임베딩 유사도에 따라 Clean Set과 Noisy Set을 나누고 Cross-Entropy, Mix-up, Weighted Cross-Entropy를 차등 적용해 재학습 안정성을 높입니다. LLM Agent는 데이터 추출부터 학습·시뮬레이션·배포·롤백까지 도구를 연결하며, 같은 라벨링 예산에서 랜덤 샘플링의 88.29%보다 높은 93.13% 정확도를 기록했습니다.

빠른 이해

새로운 점

MC Dropout 선별, VLM 의사 라벨링, 노이즈 강건 학습, LLM Agent 오케스트레이션을 하나의 비전 검사 피드백 루프로 결합했습니다.

핵심 메커니즘

현장 검사 모델이 반복 추론으로 불확실성 데이터를 선별하면 VLM이 정상 레퍼런스와 불량 이미지를 Grid 단위로 비교해 결함 위치·종류·원인을 라벨링합니다. 이후 임베딩 유사도로 Clean Set과 Noisy Set을 구분하고 차등 학습을 적용한 뒤, LLM Agent가 재학습·시뮬레이션·배포·모니터링·롤백을 도구 호출로 연결합니다.

핵심 수치

랜덤 샘플링 정확도: 88.29%- 동일한 라벨링 예산 조건
불확실성 샘플링 정확도: 93.13%- 랜덤 샘플링 대비 +4.84%p

섹션별 상세

현장 비전 검사의 병목

스마트 팩토리의 비전 검사 모델은 공정 변동, 조명 변화, 신규 불량 유형 출현으로 입력 분포가 달라질 때 재학습이 필요합니다. 기존 Human-in-the-Loop 방식은 모델이 어려워하는 불확실성 데이터를 골라내지만, 경계 사례를 사람이 선별하고 정답 라벨을 부여한 뒤 학습과 배포까지 이어야 했습니다. 수만 장의 이미지에서 작업자의 경험과 직관에 의존하는 과정은 시간·비용을 키우고 라벨 일관성도 낮췄습니다. 이 프레임워크는 데이터 정제부터 현장 재배포까지 이어지는 인적 병목을 자율 운영 구조로 바꾸는 데 초점을 둡니다.

자율 운영 프레임워크

제안된 구조는 LLM Agent가 불확실성 데이터 추출, VLM 라벨링, 데이터 저장, 재학습, 시뮬레이션 검증, 현장 배포를 하나의 작업 흐름으로 연결합니다. 각 기능을 도구로 정의하고 Agent가 상황에 따라 호출 순서와 실행 결과를 판단하므로 조건문 중심 스크립트보다 예외 상황에 대응하는 범위가 넓습니다. 기본 운영은 사람의 라벨링과 운영 개입 없이 진행되며, 엔지니어는 자연어로 불량 우선순위와 재학습 기준을 조정할 수 있습니다. 다만 실제 장비에 새 모델을 적용할 때에는 배포 결과 검증을 위해 작업자의 최종 승인을 거치도록 설계했습니다.

불확실성 샘플 선별

현장 모델이 OK와 NG의 경계에서 망설이는 이미지를 정밀하게 골라내기 위해 추론 단계에서 Dropout을 활성화하고 같은 입력을 여러 번 순전파합니다. 반복 예측에서 얻은 확률 분포로 평균의 엔트로피와 엔트로피의 평균을 계산한 뒤, 두 값의 차이인 정보 이득으로 데이터 자체의 모호성을 제외하고 모델 지식 부족에 따른 불확실성을 추출합니다. 이 방식은 조명 반사나 이미지 노이즈까지 무작정 수집하던 낮은 확률 기반 선별보다 학습에 유용한 사례를 좁히는 데 목적이 있습니다. 같은 라벨링 예산에서 단순 랜덤 샘플링은 88.29% 정확도였고, 불확실성 샘플링은 93.13%로 +4.84%p 높은 결과를 기록했습니다.

VLM 자동 라벨링

선별된 불확실성 이미지와 제품·검사 정보 프롬프트를 입력받은 VLM은 정상 레퍼런스 이미지와 불량 이미지를 Grid 영역별로 비교해 결함의 위치와 종류를 추론합니다. 출력은 Bounding Box나 픽셀 마스크에 머물지 않고 결함 원인과 상태를 자연어로 설명하는 라벨 및 검사 보고서로 확장됩니다. VLM은 Stage 0에서 Real-IAD 같은 산업용 데이터셋으로 기초 인지 능력을 익히고, Stage 1에서 현장 [OK]·[NG] 쌍과 도메인 지식을 활용한 Fine-tuning을 거칩니다. Stage 2에서는 GRPO 기반 강화학습과 보상 모델로 정답 위치, 결함 이유, 추론 과정의 일관성을 평가해 경계 사례의 판단 근거를 다듬습니다.

노이즈 강건 재학습

VLM이 만든 Pseudo-Label에는 극단적인 경계 사례나 광학적 한계 때문에 오류가 섞일 수 있으며, 이를 그대로 학습하면 모델이 자신의 오판을 반복하는 확증 편향이 생길 수 있습니다. 프레임워크는 Encoder가 변환한 Visual Feature Embedding 공간에서 주변 샘플과의 거리를 비교해 특징은 비슷하지만 라벨이 다른 사례를 Noisy Label 후보로 분류합니다. 신뢰도가 높은 Clean Set에는 Standard Cross-Entropy Loss를 적용하고, Noisy Set에는 Clean 샘플과 Noisy 샘플을 섞는 Mix-up 및 Weighted Cross-Entropy Loss를 사용합니다. 입력 특징과 라벨을 일정 비율로 혼합하는 과정이 잘못된 라벨의 암기를 억제해 자동 수집 데이터가 재학습 성능을 크게 흔드는 일을 줄입니다.

Agentic AI 배포 루프

LLM 기반 AI Agent는 Reasoning, Planning, Tool Calling, Reflection을 이용해 불확실성 추출부터 GPU 클러스터 학습과 시뮬레이션 검증까지 단계별 도구를 연결합니다. 학습 수렴 실패나 성능 미달이 감지되면 하이퍼파라미터 또는 데이터 비율을 조정하는 Replanning을 수행하고, 검증을 통과한 모델은 배포 절차로 넘깁니다. 배포 후에는 실제 라인의 추론 결과와 불확실성 지표를 계속 모니터링해 새 데이터를 다시 수집하며, 사전 기준에 미달하면 직전 운영 모델로 자동 롤백하고 감사 로그를 남깁니다. 이 피드백 루프는 재학습·배포 리드 타임과 유지보수 부담을 줄이면서도 최종 적용 단계의 사람 승인과 대화형 Co-piloting을 함께 유지합니다.

용어 해설

콘셉트 드리프트(Concept Drift): — 생산 공정, 조명, 센서 환경 또는 불량 유형이 변하면서 기존 학습 데이터와 실제 입력 분포가 달라지는 현상입니다. 검사 모델의 예측 신뢰도가 낮아져 재학습과 데이터 갱신이 필요해집니다.
Human-in-the-Loop: — 모델이 판단하기 어려운 데이터를 자동으로 골라낸 뒤 사람이 라벨을 확인하거나 수정하는 운영 방식입니다. 정확도를 보완하지만 수작업 규모가 커지면 재학습과 배포의 병목으로 이어집니다.
Monte Carlo Dropout: — 추론 시 Dropout을 켠 상태로 같은 입력을 여러 번 처리해 예측 분포의 변동을 측정하는 방법입니다. 데이터 자체의 모호성과 모델 지식 부족에 따른 불확실성을 나누는 데 활용됩니다.
Epistemic Uncertainty: — 모델이 학습 데이터나 지식 부족 때문에 특정 입력을 확신하지 못하는 불확실성입니다. MC Dropout의 반복 예측에서 얻은 정보 이득으로 데이터 고유의 모호성과 구분할 수 있습니다.
Pseudo-Label: — 사람이 직접 부여한 정답 대신 모델이 생성한 라벨입니다. 자동 라벨링 규모를 늘릴 수 있지만 오류가 포함되면 모델이 자신의 판단을 반복 학습할 수 있어 별도의 노이즈 대응이 필요합니다.

기술

Vision-Language Model (VLM)
Agentic AI
LLM Agent
Monte Carlo Dropout
Human-in-the-Loop (HITL)
GRPO
Mix-up
Weighted Cross-Entropy Loss
Visual Feature Embedding
Continuous Deployment
GPU 클러스터

언급된 리소스

문서원문 링크