식물 및 버섯 식별을 위한 온디바이스 OOD(분포 외) 탐지 파이프라인 구축

실용적 조언

OOD 탐지가 필요하다면 소프트맥스 결과값 대신 원시 로짓을 활용한 에너지 스코어링 기법을 우선적으로 고려할 것
단일 거대 모델보다 가벼운 라우터와 전문가 모델을 조합한 계층적 구조가 엣지 환경에서 더 효율적일 수 있음

섹션별 상세

YOLO의 폐쇄형 집합(Closed-set) 아키텍처가 가진 한계를 지적했다. 모델이 학습하지 않은 분포 외(OOD) 이미지가 입력되어도 소프트맥스(Softmax) 출력이 정규화되는 특성 때문에 100%에 가까운 확신도로 오분류하는 현상이 발생한다. 이는 식물 식별과 같은 안전 민감형 애플리케이션에서 치명적인 오작동으로 이어질 수 있다.

소프트맥스 확신도 대신 로짓(Logits) 기반의 에너지 스코어링(Energy scoring) 기법을 도입했다. Liu 등이 제안한 에너지 기반 탐지 방식은 소프트맥스 이전의 원시 로짓 값을 활용하여 분포 내 데이터와 분포 외 데이터를 더 명확하게 구분한다. 실험 결과 단순 확신도 임계값 설정보다 OOD 탐지 성능이 크게 향상됨을 확인했다.

단일 모델 대신 도메인 라우터와 전문가 모델로 구성된 다층 파이프라인을 설계했다. MobileNetV3 Small 기반의 라우터가 입력을 분류하거나 거부하고, 통과된 데이터는 버섯이나 베리류 등 특정 분야에 특화된 EfficientNet B2 전문가 모델로 전달된다. 이 구조는 전체적인 정확도를 높이면서도 불필요한 추론을 방지하는 역할을 한다.

하드웨어 제약 조건 내에서 실시간 추론을 구현하기 위해 Hailo 8L 가속기를 활용했다. 13 TOPS의 연산 성능과 배터리 구동 환경이라는 제약 하에 EfficientNet과 MobileNet 조합을 선택하여 데스크톱 성능이 아닌 실제 기기에서의 지연 시간을 최적화했다. 앙상블 불일치(Ensemble disagreement)와 K+1 클래스 학습을 추가적인 안전 장치로 병행했다.

용어 해설

분포 외 탐지(OOD Detection): — 모델이 학습 데이터셋에 포함되지 않은 새로운 유형의 입력을 받았을 때 이를 식별해내는 기술이다. 폐쇄형 집합 모델이 모르는 데이터를 아는 것으로 오해하여 잘못된 예측을 내놓는 위험을 방지하며, 안전이 중요한 시스템에서 필수적인 역할을 한다.
에너지 기반 모델(Energy-based Model): — 데이터의 로짓(Logits) 값을 물리적 에너지 함수로 해석하여 입력의 적합성을 평가하는 방식이다. 소프트맥스 확신도보다 분포 내 데이터와 외 데이터를 더 명확하게 구분할 수 있어 OOD 탐지 성능을 높이는 데 활용된다.
폐쇄형 집합 아키텍처(Closed-set Architecture): — 모델이 사전에 정의된 클래스 목록 내에서만 결과를 출력하도록 설계된 구조이다. 목록에 없는 데이터가 들어와도 강제로 기존 클래스 중 하나로 분류하기 때문에 '모름'을 표현하지 못하는 한계가 있다.
Hailo 8L: — 엣지 디바이스에서 고성능 AI 추론을 수행하기 위해 설계된 AI 가속기 하드웨어이다. 낮은 전력 소모로 높은 연산 성능(TOPS)을 제공하여 배터리 기반 휴대용 기기에서 복잡한 모델 파이프라인을 실행할 수 있게 한다.

언급된 도구

Hailo 8L추천

13 TOPS 성능을 제공하는 온디바이스 AI 추론 가속기

언급된 리소스

논문Energy-based Out-of-Distribution Detection (Liu et al.)